ablog

不器用で落着きのない技術者のメモ

bucket の検索結果:

Azure Data Factory から AWS Transfer Faimily の SFTP に公開鍵認証で接続する

…[ "s3:ListBucket", "s3:GetBucketLocation" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<S3 バケット名>" ] }, { "Sid": "HomeDirObjectAccess", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObjectVersion", "s3:GetObjectACL", "s3:PutObj…

AWS Transfer Family の SFTP でパスワード認証を使う

AWS

…[ "s3:ListBucket", "s3:GetBucketLocation" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<S3 バケット名>" ] }, { "Sid": "HomeDirObjectAccess", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject", "s3:DeleteObjectV…

AWS SDK はファイルを S3 にアップロードする際にチェックサムで整合性をチェックしてくれる

AWS

…-object --bucket test-bucket-az --key test.txt --body /home/ec2-user/test.txt --checksum-algorithm SHA256 { "ETag": "\"d8e8fca2dc0f896fd7cb4cb0031ba249\"", "ChecksumSHA256": "8sobtsfpB9Btr+Roflefznazfk6Tt2BQItpS5szCb9I=", "ServerSideEncrypt…

S3 to S3 でストリーミング圧縮コピーする(boto3版)

AWS

…'s3://<s3 bucket name>/sample_data/s3_streaming/1gb.dat' dst_path = 's3://<s3 bucket name>/sample_data/s3_streaming/1gb.gz' with open(dst_path, 'wb', transport_params={'client': session.client('s3')}, compression='.gz') as fout: with open(s…

S3 to S3 でストリーミング圧縮コピーする(AWS CLI版)

AWS

…p - s3://<bucket-name>/upload/LICENSE.gz S3 からファイルをダウンロードしながら圧縮して S3 にアップロードする(一時的に EC2 のローカルに保存せずに) $ aws s3 cp s3://<bucket-name>/download/LICENSE.txt -|gzip -c|aws s3 cp - s3://<bucket-name>/upload/LICENSE_s3.gz 参考 【Amazon S3 Streaming】A…

Glue PySpark で Parquet ファイルの型を変換する

…r node S3 bucket S3bucket_node1 = glueContext.create_dynamic_frame.from_catalog( database="tpc-h_10gb_parquet", table_name="nation_tbl", transformation_ctx="S3bucket_node1", ) # Script generated for node ApplyMapping ApplyMapping_node2 = Ap…

Amazon Redshift の AUTO COPY を試す

AWS

…-object --bucket awssampledb --key "auto-copy-lineorder/" テーブルを作成する CREATE TABLE public.lineorder ( lo_orderkey INTEGER NOT NULL, lo_linenumber INTEGER NOT NULL, lo_custkey INTEGER NOT NULL, lo_partkey INTEGER NOT NULL, lo_suppkey INTEGER N…

tdbench を利用する

… 15403 2999 0 80 0 - 29858 - 12:50 pts/0 00:00:00 grep --color=auto tdbench $ strace -Ttt -ff -s 1500000 -o strace -p 12176 参考 https://usermanual.wiki/buckets/70072/1168670901/TdBenchV8.00.16_User_Guide.pdf Amazon Redshift 接続エラーのトラブルシューティング

Teradata の AMP とは

…takes HASHBUCKET# as the input and returns the AMP number. What is function of an amp in Teradata? – MVOrganizing How Teradata Data Distribution Works? An index is a physical mechanism used to store and access the rows of a table. Indexes o…

Invalid Action: The action s3:CreateMultipartUpload does not exist

AWS

… to perform the s3:PutObject action on an object to create multipart upload.The bucket owner can allow other principals to perform the s3:PutObject action. Uploading and copying objects using multipart upload - Amazon Simple Storage Service

S3 アクセスポイント経由と特定のIAMロールのみのアクセスを許可するバケットポリシー

AWS

…s:s3:::s3-bucket-name", "arn:aws:s3:::s3-bucket-name/*" ], "Condition": { "StringEquals": { "s3:DataAccessPointAccount": "123456789012" } } }, { "Effect": "Deny", "Principal": { "AWS": "*" }, "Action": [ "s3:PutObject*", "s3:GetObject*", "s…

Glacier のオブジェクトを復元して他の S3 パスにコピーする

AWS

…-object --bucket s3-glacier-v --key {} --restore-request Days=25,GlacierJobParameters={"Tier"="Standard"} 他の S3 パスへコピーする $ aws s3 cp --recursive s3://s3-glacier-v/ s3://s3-restore-v/ --recursive --force-glacier-transfer 参考 Amazon Glacier スト…

AWS CLI の max_bandwidth で転送スループットを制限する

AWS

…s3://test-bucket/ Completed 50.8 MiB/100.0 MiB (9.3 MiB/s) with 1 file(s) remaining 参考 Linux での AWS CLI バージョン 2 のインストール、更新、アンインストール - AWS Command Line Interface AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO Amazon S3 への大容量ファイルのアップロードを最適…

S3 アクセスポイント経由でのオブジェクトのリスト(aws s3 ls)が失敗する

AWS

…して、s3:ListBucket を許可していないため。 解決策 S3アクセスポイントに対して s3:ListBucket を許可するポリシーを追加する(以下はIAMポリシーの例) { "Version": "2012-10-17", "Statement": [ { "Sid": "Allow list objects", "Effect": "Allow", "Action": [ "s3:ListBucket" ], "Resource": [ "arn:aws:s3:…

AWS CLI 1.4.4 で S3 の VPC エンドポイント(Interface型)を使って S3 にアップロードできる

AWS

…l https://bucket.vpce-********-********.s3.ap-northeast-1.vpce.amazonaws.com ls s3://az-test-bucket/ (オブジェクトのリストが表示される) aws s3 cp を実行できることを確認 $ dd if=/dev/urandom of=100mb.dat bs=1M count=100 $ aws s3 --region ap-northeast-1 --endpoint-url …

Amazon Linux 2 からインターネットアクセスなしで Yum でパッケージをインストールする

AWS

…ecific-S3-bucket-only", "Statement": [ { "Sid": "Access-to-specific-S3-bucket-only", "Effect": "Allow", "Principal": "*", "Action": "s3:*", "Resource": [ "arn:aws:s3:::amazonlinux.ap-northeast-1.amazonaws.com/*", "arn:aws:s3:::amazonlinux-2…

VPCE ポリシーで S3 アクセスポイントへのアクセスを許可する

AWS

…ect for a bucket named awsexamplebucket1 and an access point named example-vpc-ap. { "Version": "2012-10-17", "Statement": [ { "Principal": "*", "Action": [ "s3:GetObject" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::awsexamplebucket1/…

AWS CLI は AssumeRole の認証情報を ~/.aws/cli/cache/* にキャッシュする

AWS

…m1/ --acl bucket-owner-full-control --profile account1 --debug (中略) 2021-07-29 15:40:11,717 - Thread-3 - botocore.credentials - DEBUG - Credentials for role retrieved from cache. 2021-07-29 15:40:11,717 - Thread-3 - botocore.credentials - D…

S3 Access Points aliases

…ou use S3 bucket names to access data in S3. With this update, you can use S3 Access Point aliases with AWS services, including Amazon EMR, Amazon Storage Gateway, and Amazon Athena, open-source packages, such as Apache Spark and Apache Hiv…

AWS CLI で aws s3 ls/cp/mv/rm に必要な IAM 権限

AWS

…, "s3:ListBucket", "s3:CreateMultipartUpload", "s3:AbortMultipartUpload", "s3:ListMultipartUploadParts", "s3:ListBucketMultipartUploads" ], "Resource": "*" } ] } 参考 CreateMultipartUpload - Amazon Simple Storage Service AbortMultipartUpload …

AWS CLI の s3 cp/sync は自動的にチェックサムでデータ整合性チェックしている

AWS

…gning': {'bucket': u'fujita-san-v-neck-reverse'}, 'has_streaming_input': True, 'client_config': <botocore.config.Config object at 0x7fb15a5c5110>}, 'query_string': {u'partNumber': 128, u'uploadId': 'VLeC0orkEXNBUU_13biYlOHel6ts5PWUN72EI5hBR…

04. CloudFront 経由で Amazon S3 のコンテンツを公開する(OAIバージョン)

… Restrict Bucket Access: Yes Origin Access Identity: Create a New Identity Grant Read Permissions on Bucket: Yes, Update Bucket Policy Distribution Settings Amazon WAF Web ACL: 元々作成していた WAF を指定する Alternate Domain Names(CNAMEs): portfolio.yo…

他アカウントの特定 VPCエンドポイント からのアクセスのみ許可する S3 バケットポリシー

AWS

…[ "s3:ListBucket", "s3:GetObject" ], "Resource": [ "arn:aws:s3:::s3-bucket-policy-test", "arn:aws:s3:::s3-bucket-policy-test/*" ], "Condition": { "StringEquals": { "aws:sourceVpce": "vpce-0c75ac818fc7e65f3" } } } ] } 参考 Amazon S3 バケットアクセスを特…

S3 バケットを作成するのにわりと最小権限気味の IAM ポリシー例

AWS

…: "IAM Policy for Create S3 bucket", "Effect": "Allow", "Action": [ "s3:Createbucket", "s3:*Object*", "s3:ListAllMyBuckets", "s3:PutBucketPublicAccessBlock", "s3:PutEncryptionConfiguration", "s3:PutBucketVersioning" ], "Resource": "*" } ] }

AWS AppFlow から S3 への書き込みで Access Denied と怒られる

AWS

…", "s3:GetBucketAcl", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:ListMultipartUploadParts", "s3:PutObject", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::appflow-salesforce-landing", ★ バケットポリシーを設定するバケット "arn:aw…

S3レプリケーションがされないとき

AWS

…OverrideToBucketOwner) がないため。 解決策 送信元のS3バケットのレプリケーションルールで指定しているIAMロールに s3:ObjectOwnerOverrideToBucketOwner を追加する。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetReplicationConfiguration", "s3:ListBucket" ]…

クロスアカウント S3 レプリケーションの設定

AWS

…, "s3:ListBucket" ], "Resource": "arn:aws:s3:::rep-src-sse-s3" }, { "Effect": "Allow", "Action": [ "s3:GetObjectVersion", "s3:GetObjectVersionAcl" ], "Resource": "arn:aws:s3:::rep-src-sse-s3/*" }, { "Effect": "Allow", "Action": [ "s3:Replic…

AWS CLI で VPC エンドポイント経由でアクセスする

AWS

…ar/ --acl bucket-owner-full-control --profile account1 --debug (中略) 2021-07-29 17:29:45,221 - Thread-3 - botocore.endpoint - DEBUG - Making request for OperationModel(name=PutObject) with params: {'body': <s3transfer.utils.ReadFileChunk obj…

04. CloudFront 経由で Amazon S3 でホストされた静的ウェブサイトを公開する

…level and bucket-level redirects Requests supported Supports all bucket and object operations Supports only GET and HEAD requests on objects Responses to GET and HEAD requests at the root of a bucket Returns a list of the object keys in the…

Amazon Redshift から Amazon S3 へ UNLOAD 時に s3:ListBucket 権限が必要

AWS

…だが、s3:ListBucket 権限も必要。allowoverwrite オプションをつけている場合は s3:PutObject 権限のみで UNLAOD できるが、allowoverwrite オプションをつけていない場合は s3:ListBucket を実行している模様。 s3:PutObject 権限のみの場合 allowoverwrite オプションありは成功 dev=# unload ('select * from customer') dev-# to 's3:…