ablog

不器用で落着きのない技術者のメモ

bucket の検索結果:

Java アプリから S3 にアクセス時に必要な証明書がない場合に発生する例外

…le.sh ListBuckets ## Running ListBuckets... ## arguments ... [INFO] Scanning for projects... [INFO] [INFO] ------------------------------------------------------------------------ [INFO] Building Amazon S3 Examples 1.0 [INFO] --------------…

AWS SDK for Java v1.11 を使った Java サンプルプログラムを実行してみる

AWS

…le.sh ListBuckets ## Running ListBuckets... ## arguments ... [INFO] Scanning for projects... [INFO] [INFO] ------------------------------------------------------------------------ [INFO] Building Amazon S3 Examples 1.0 [INFO] --------------…

AWS CLI で 1TB の S3 オブジェクトをリスト表示する

AWS

…" "all S3 buckets. Note that the --output and --no-paginate " "arguments are ignored for this command.") USAGE = "<S3Uri> or NONE" ARG_TABLE = [{'name': 'paths', 'nargs': '?', 'default': 's3://', 'positional_arg': True, 'synopsis': USAGE}, …

JREに同梱されている証明書を確認する

…する。 $ javac -classpath .:/home/ec2-user/aws-java-sdk-1.11.568/lib/aws-java-sdk-1.11.568.jar ListBuckets.java aws-doc-sdk-examples/ListBuckets.java at master · awsdocs/aws-doc-sdk-examples · GitHub 参考 Java ルート証明書一覧 各バージョンあり | 世界一わかりやすいセキュリティ

DynamoDB->DynamoDB Streams->Lambda->Amazon Kinesis Firehose->Aurora に連携する

AWS

…pi create-bucket --bucket az-ddb2aurora --create-bucket-configuration LocationConstraint=ap-northeast-1 S3バケットにプレフィックスを作成する。 $ aws s3api put-object --bucket az-ddb2aurora --key processed/ $ aws s3api put-object --bucket az-ddb2aurora --key …

AWS CLI でS3バケットのライフサイクル設定を取得する

AWS

…s3api get-bucket-lifecycle-configuration --bucket az-cp-src { "Rules": [ { "Filter": { "Tag": { "Value": "10y", "Key": "Name" } }, "Status": "Enabled", "Expiration": { "Days": 365 }, "ID": "test" }, { "Filter": { "Prefix": "" }, "Status": "…

Organization ID を利用してS3のクロスアカウントアクセスを許可する。

AWS

…, "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::orgid-test-bucket", "arn:aws:s3:::orgid-test-bucket/*" ], "Condition": { "StringEquals": { "aws:PrincipalOrgID": [ "o-xxxxxxxxxx", "o-yyyyyyyyyy", "o-zzzzzzzzzz" ] } } } ] } Organization ID は…

cfnで作成したバケットポリシーを変更後にcfnで元に戻す

AWS

…create S3 Bucket Parameters: S3BucketName: Description: Type of this BacketName. Type: String Resources: S3BucketPolicy: Type: AWS::S3::BucketPolicy Properties: Bucket: !Sub ${S3BucketName} PolicyDocument: Version: "2012-10-17" Statement: -…

CloudFormationでS3バケットを作成してバケットポリシーを設定する

AWS

…順 CreateS3Bucket.yml をローカルに作成する。 AWSTemplateFormatVersion: '2010-09-09' Description: This CloudFormation template to create S3 Bucket Parameters: S3BucketName: Description: Type of this BacketName. Type: String Resources: S3Bucket: Type: AW…

Aurora MySQLとS3間でデータをロード&アンロードする

AWS

…rora-data-bucket/100m 2019-02-19 15:19:13 377 Bytes sbtest100m.manifest 2019-02-19 15:10:09 6.0 GiB sbtest100m.part_00000 2019-02-19 15:13:05 6.0 GiB sbtest100m.part_00001 2019-02-19 15:16:08 6.0 GiB sbtest100m.part_00002 2019-02-19 15:19:0…

S3 Object Lock について

AWS

…ントの s3:PutBucketObjectLockConfiguration と s3:PutObjectRetention を Deny すると、そのバケットに作成されたオブジェクトは90日間削除できない。「コンプライアンスモード」の場合はこの期間はどうやっても削除できない。「ガバナンスモード」の場合は、親アカウントでSCPをデタッチしてs3:BypassGovernanceRetention 権限を持ったIAMユーザー/ロールでオブジェクトの保持期限を無効化して削除する…

S3 へのパブリックアクセスを一切禁止する

AWS

…ルの設定禁止 PutBucketPublicAccessBlock … バケットレベルの設定禁止 新規AWSアカウントを作成すると、デフォルトで S3 Block Public Access はアカウントレベルでは False、バケットレベルでは True*2。 意味 新規のパブリック ACL と、パブリックオブジェクトのアップロードをブロックする (推奨) バケットのACLで以下の設定がバケットレベル(左画像)でもオブジェクトレベル(右画像)でもできなくなる*3。 オブジェ…

文鎮化した S3 バケットを元に戻す

AWS

…pi delete-bucket-policy --bucket az-private rootアカウントのシークレットアクセスキー削除 ナビゲーションバー右上のアカウント名を選択し、[セキュリティ認証情報]を選択する。 [アクセスキー (アクセスキー ID とシークレットアクセスキー)]で[削除]をクリックし、シークレットアクセスキーを削除する。 参考 https://forums.aws.amazon.com/thread.jspa?threadID=271455 S3 …

QuickSight で Athena にクエリしようとすると Access Denied と怒られる

AWS

…n S3 (all buckets) (​ (すべてのバケット))] チェックボックスをオンにして、それらのバケットに対する Amazon QuickSight アクセス権限を編集します。[Choose Amazon S3 buckets ( バケットを選択)] で、Amazon QuickSight に対して使用可能にするバケットを選択してから、[Select buckets (バケットを選択)] を選択します。 Amazon Athena データベースがある場合は、[At…

Spark DataFrame の repartition メソッドは何をするものか

…e = "data-bucket" >>> dataset = "sh10" >>> in_path = "s3://{your_backet_name}/data/json/{dataset}/sales/*.gz".format(your_backet_name=your_backet_name, dataset=dataset) >>> out_path = "s3://{your_backet_name}/data/parquet_pyspark/{dataset}/…

CloudFormation で EMR クラスター作成時に Bootstrap Action を実行する

AWS

…(中略) CFnS3Bucket: Description: Specify an Amazon S3 template URL Type: String Default: cfnBucket20181124 (中略) EMRStack: Type: AWS::CloudFormation::Stack Properties: TemplateURL: !Sub https://s3-ap-northeast-1.amazonaws.com/${CFnS3Bucket}/em…

s3 cp でクロスアカウントでバケット間コピーする際のコピー元バケットに参照権限を付与するバケットポリシー

AWS

…rincipal": { "AWS": "arn:aws:iam::012345678901:root" }, "Action": [ "s3:List*", "s3:Get*" ], "Resource": [ "arn:aws:s3:::test-bucket-20181125", "arn:aws:s3:::test-bucket-20181125/*" ] } ] } 参考 ポリシーでのアクセス許可の指定 - Amazon Simple Storage Service

S3オブジェクトのバージョン一覧を表示する

AWS

…ersions --bucket az-test-bucket|jq -r '.Versions[].Key'|sort|uniq -c|perl -lane '$F[0] > 1 and print' 2 swingbench/data/gz/sh10/sales/test2.txt 3 swingbench/data/gz/sh10/sales/test.txt 参考 バケット内のオブジェクトのバージョン一覧を表示するには、[Show] を選択します。各オブジェクトバージ…

S3 バケットのデフォルト暗号化に使う CMK を KMS で生成したものから BYOK に変えてみる

AWS

…test make_bucket: kms-key-change-test デフォルト暗号化設定を行う $ aws s3api put-bucket-encryption --bucket kms-key-change-test --server-side-encryption-configuration '{ "Rules": [ { "ApplyServerSideEncryptionByDefault": { "SSEAlgorithm": "aws:kms", "KM…

S3のデフォルト暗号化キーはエイリアス名ではなくキーIDと紐付いてそう

AWS

…s3api get-bucket-encryption --bucket az-test-bucket1 { "ServerSideEncryptionConfiguration": { "Rules": [ { "ApplyServerSideEncryptionByDefault": { "KMSMasterKeyID": "arn:aws:kms:ap-northeast-1:123456789012:key/608781a9-cf79-4e35-98dd-7efa5a…

S3 のデフォルト暗号化キーに使っている BYOK した CMK を入れ替える

AWS

…tion-test-bucket make_bucket: kms-key-rotation-test-bucket 作成した S3 バケットのデフォルト暗号化キーに作成した CMK を指定する。 $ aws s3api put-bucket-encryption --bucket kms-key-rotation-test-bucket --server-side-encryption-configuration '{ "Rules": [ { "ApplyServerSi…

S3バケットの Static website hosting が有効化されたら CWE -> Lambda で自動的に無効化する

AWS

…: S3DeleteBucketWebsite ランタイム: Python 2.7 ロール: S3FullAccess 関数コード import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print( 'event: ', event ) bucket_name=event['detail']['requestParameters']['bucketName'] print( bucke…

Athena で CloudTrail のイベントを集計する

AWS

…s.com HeadBucket 10675 s3.amazonaws.com UploadPartCopy 10362 ec2.amazonaws.com DescribeNetworkInterfaces 9756 athena.amazonaws.com GetQueryExecution 9040 s3.amazonaws.com CopyObject 6353 ssm.amazonaws.com UpdateInstanceInformation 5658 ssm.…

Parquet

AWS

… 2203 HeadBucket 176 ListObjects 43 PutObject 2 select count(year) from amazon_reviews_parquet select eventname, count(eventname) as apicall_count from default.cloudtrail_logs_cloudtrail_123456789012_do_not_delete where eventsource = 's3.am…

「AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する」をやってみた

AWS

…context): bucket = event['Records'][0]['s3']['bucket']['name'] key = urllib.unquote_plus(event['Records'][0]['s3']['object']['key'].encode('utf8')) print(bucket) print(key) try: newKey = 'flatfiles/' + key.replace("/", "") client.download_f…

「AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する」を試してみた

AWS

…tObject {"bucketName":"nytaxi-parquet","key":"_temporary/0_$folder$"} 2018-09-12T03:19:11Z PutObject {"bucketName":"nytaxi-parquet","key":"_temporary_$folder$"} 2018-09-12T03:19:11Z ListObjects {"list-type":"2","bucketName":"nytaxi-parquet"…

VPCフローログのサイズがどの程度になるか

AWS

… to an S3 bucket S3 bucket ARN: 作成したS3バケットの ARN を入力 EC2インスタンス作成 2つのVPCに1つずつEC2インスタンスを作成する(今回は m4.10xlarge を利用した)。 iperf をインストールする 2つの別のVPCにEC2インスタンス(Amazon Linux)を作成する。 EC2インスタンスに iperf をインストールする。 $ sudo yum -y install git gcc $ git clone h…

AD連携でAWSアカウントにログインし別アカウントでスイッチロールしたら CloudTrail にどう記録されるか

AWS

…" } CreateBucket { "eventVersion": "1.05", "userIdentity": { "type": "AssumedRole", "principalId": "A***************MOF2Y:Administrator", "arn": "arn:aws:sts::200000000000:assumed-role/az2AdminRole/Administrator", "accountId": "200000000000…

EMR のブートストラップアクションはマスター・コア・タスクノードで実行される

AWS

…th=s3://mybucket/filename",Args=[arg1,arg2] 追加のソフトウェアをインストールするためのブートストラップアクションの作成 - Amazon EMR --bootstrap-actions (list) Specifies a list of bootstrap actions to run on each EC2 instance when a cluster is created. Bootstrap actions run on …

S3バケットがPublic公開されたら Config -> CWE -> Lambda で自動的に Private に戻す

AWS

…ジドルール "s3-bucket-public-read-prohibited" で検知して CloudWatch Events 経由で Lambda を起動して Private に戻す検証をしてみたメモ。 設定 AWS Config のマネージドルールを追加する AWSマネジメントコンソールにログインする。 [Config]-[ルール]を選択し、[ルールの追加]をクリックし、[s3-bucket-public-read-prohibited]を選択し、[保存]をクリックする…