今更だけど、社内外でよく2023年のAWSサミット東京で発表した "Amazon Redshift クエリパフォーマンスチューニング Deep Dive" のスライドのパスをよく聞かれるのでメモしておく。 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-36_AWS-Summit-2023…

事象 Redshift に Parquet を COPY コマンドでロードしようとすると 15007 Spectrum Scan Error が発生する。 実行コマンド copy t2 from 's3://s3-prod-123456789012-ap-northeast-1/table-data/t1/' parquet iam_role 'arn:aws:iam::123456789012:role/PRO…

実行例 $ aws s3 ls --profile s3_access --debug ... 2024-08-07 05:06:29,995 - MainThread - urllib3.connectionpool - DEBUG - Starting new HTTPS connection (1): bucket.vpce-********-********.s3.ap-northeast-1.vpce.amazonaws.com:443 AWS CLI の…

デバッグモードで実行する（--debug オプションをつける） $ aws sts get-caller-identity --endpoint-url https://vpce-********-********.sts.ap-northeast-1.vpce.amazonaws.com --debug ログの見方 "botocore.auth" のところが実行されたスクリプト 2024…

事象 オンプレのサーバから AWS CLI で IAM ユーザーのクレデンシャルで認証後、別AWSアカウントの IAM ロールにスイッチロールすると STS の --endpoint_url パラメータの指定が効かず、グローバルエンドポイントやリージョナルエンドポイントにアクセスし…

STSのエンドポイントを .aws/config で指定する方法。 .~/aws/config [profile dev] services = custom-endpoint [services custom-endpoint] s3 = endpoint_url = sts = endpoint_url = 参考 設定ファイルと認証情報ファイルの設定 - AWS Command Line Inte…

事象 オンプレのデータセンターにある Linux サーバから Direct Connect -> VPC -> VPC Endpoint -> S3 にアクセスしようとするとタイムアウトする。 $ aws s3 ls --profile s3_access --endpoint-url https://bucket.vpce-********.s3.ap-northeast-1.vpce.…