ディレクトリ作成 $ cd /opt $ sudo mkdir apache-spark apache-maven Open JDK 1.8 をインストール $ sudo yum -y install java-1.8.0-openjdk-devel.x86_64 $ java -version Maven をインストール $ curl -O https://aws-glue-etl-artifacts.s3.amazonaws.…

iPhone で紙をスキャンして PDF にする方法。 [ファイル] アプリを開く。 右上の […] - [書類をスキャン] を選択する。 書類をスキャンして保存する。 参考 iPadの「ファイル」アプリで書類をスキャンしてPDFで保存する方法 | iPad Wave

AWS Lambda から Amazon RDS Proxy に IAM 認証する際のIAMポリシー設定例。以下のような IAM ポリシーを Lambda 実行用の IAM ロールにアタッチする。 IAM ポリシー例 リージョン: ap-northeast-1 AWSアカウントID: 234567890123 RDS Proxy の arn: arn:aws…

Requirements Only the management account can enable sharing with AWS Organizations. The organization must be enabled for all features. For more information, see Enabling All Features in Your Organization in the AWS Organizations User Guide…

VPC Reachability Analyzer を使うと便利。 【速報】VPC内の接続性テストとトラブルシューティングを簡単にする！VPC Reachability Analyzerが発表されました！ #reinvent | DevelopersIO

Your RDS Proxy must be in the same VPC as the database. The proxy can't be publicly accessible, although the database can be. Amazon RDS Proxy による接続の管理 - Amazon Relational Database Service

Aurora PostgreSQL に RDS Proxy 経由で IAM 認証で接続する手順。 前提 RDS Proxy で [IAM 認証] が [必須] になっていること。 AWS CLI がインストールされていること*1。 psql がインストールされていること*2。 $ sudo yum -y install postgresql 手順 …

IAM ロールも VPC エンドポイントも正しく設定しているのに、Private Subnet の EC2 にセッションマネージャーで接続できない場合の原因と解決策。 事象 Private Subnet の EC2 にセッションマネージャーで接続できない 。 以下の VPC エンドポイントは作成…

from pyspark.sql import SparkSession spark = SparkSession.builder. \ appName("ExamplePySparkSubmitTask"). \ config("spark.databricks.hive.metastore.glueCatalog.enabled", "true"). \ enableHiveSupport(). \ getOrCreate() print(spark.sparkCont…

以下のサンプルコードの sequenceNumberOfPreviousRecord のループの1回目の初期値が何かという話だが、setSequenceNumberForOrdering はシャード内の順序を保証するメソッドで2回目からのループで1回目より後になればよいので、初期値は null でよさそう。 …

AWS Glue で VPC Peering 経由で別アカウントの Aurora PostgreSQL に接続した手順をメモ。 前提 クロスアカウントで VPC Peering 接続されていること。 Aurora PostgreSQL にアタッチしているセキュリティグループのインバウンドでピアリング先 VPC からの …