PySpark on EMR で S3 上の1オブジェクトの読込みに API 発行回数が1回か複数回か調べてみた。 CloudTrail で API 発行を捕捉する 環境変数を設定する $ export LANG=C $ export TZ=UTC $ export AWS_DEFAULT_REGION=ap-northeast-1 trail ログ保存用 S3 バ…

S3イベント通知を使うと、S3バケットにオブジェクトが作成されれたタイミングでイベント・ドリブンでLambda関数を呼び出したりSNSトピックにメッセージを送ったりできるが、作成開始ではなく完了したタイミングでイベント通知されることを確認した。 事前準…

S3イベント通知を使うと、S3バケットにファイルが作成されたり削除されたのをトリガーにイベントドリブンで、Lambda関数をキックしたり、SNSやSQSにメッセージを送ったりすることができるが、作成や削除が開始したタイミングではなく完了したタイミングでイ…