ablog

不器用で落着きのない技術者のメモ

2021-07-01から1ヶ月間の記事一覧

AWS CLI は AssumeRole の認証情報を ~/.aws/cli/cache/* にキャッシュする

AWS

AWS CLI で sts まわりのデバッグ(--debug オプションをつける)をしてたら、キャッシュされているようなので、 $ aws s3 cp test.txt s3://arn:aws:s3:ap-northeast-1:123456789012:accesspoint/ap-system1/ --acl bucket-owner-full-control --profile acco…

S3 Access Points aliases

S3 Access Points aliases で S3 アクセスポイントにバケット名のようにとしてアクセスできるようになった模様。 Now, you can use S3 Access Point aliases anywhere you use S3 bucket names to access data in S3. With this update, you can use S3 Acce…

Mac で日本語入力のライブ変換をオフにする

Mac

自分は Google 日本語入力を使っていたが、Mac で日本語入力のライブ変換をオフにしたら使いやすくなったという話を聞いたのでメモ。 Mac - 日本語入力のライブ変換を「オン/オフ」に設定 | PC設定のカルマ

AppConfig で料金が高騰した場合に、呼び出し元を特定する Athena クエリ for CloudTrail

AWS

AppConfig で料金が高騰した場合に、呼び出し元を特定するクエリ SELECT useridentity.arn AS useridentity_arn, count(*) as configurationReceived FROM cloudtrail_table WHERE eventsource = 'appconfig.amazonaws.com' AND eventname = 'GetConfigurati…

AWS CLI で aws s3 ls/cp/mv/rm に必要な IAM 権限

AWS

AWS CLI で aws s3 ls/cp/sync/mv/rm に必要な IAM 権限を持った IAM ポリシーの例。 { "Version": "2012-10-17", "Statement": [ { "Sid": "S3ListGetPutDelete", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject", "s3:…

AWS CLI で Assume Role して S3 にアクセスする

AWS

Assume Role する IAM ロールを作成する IAMロール名: if_pf_az2 IAMポリシー: AmazonS3FullAccess 信頼関係 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::234567890123:root" }, "Action": "sts:A…

S3 アクセスポイントポリシーで別アカウントのIAMロールから特定のプレフィックス以下のみアクセス許可する

AWS

別アカウントの特定の IAM ロールから特定のプレフィックス以下のみアクセス許可する S3 アクセスポイントポリシーの例。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Deny", "Principal": { "AWS": "*" }, "Action": "s3:*", "NotResource": […

クロスアカウントでS3アクセスポイント経由でアクセス許可する

AWS

この記事は記載が間違っているので治す予定 S3 に Put する側のアカウント(234567890123) Private Subnet に EC2 インスタンスを作成する EC2 に IAM ロール(arn:aws:iam::234567890123:role/EC2Role)をアタッチする S3 の VPC エンドポイント(Gateway…

Redshift で同一セッション内で実行ユーザーを切替える

AWS

現在のセッションのユーザー名を設定します。SET SESSION AUTHORIZATION コマンドは、権限のないユーザーとしてセッションやトランザクションを一時的に実行することで、データベースアクセスをテストする場合などに使用できます。Syntax SET [ SESSION | LO…

AWS CLI v2

AWS

AWS CLI v2 には、Windows、Linux、および macOS 用のビルド済みのバイナリが用意されています。 AWS CLI を使用するために Python をインストールする必要はありません。 互換性のあるPythonバージョン、仮想環境、または競合するPythonパッケージについて…

プレゼンの練習で参考にした資料

過去にプレゼンの練習で参考にした資料 プレゼンが上達するために心がけていること - めもめも https://www.slideshare.net/shintanimoto/presentations-presentation-49449046

RDS Oracle のアップグレードとパッチ適用

AWS

Major and minor version upgrades Amazon RDS supports the following upgrades to an Oracle DB instance: Major version upgrades In general, a major version upgrade for a database engine can introduce changes that aren't compatible with existi…

sed でマッチした次の行だけ置換する方法

sed

以下のような yaml で syslog_output: の次の行の enabled を false にしたい場合、 $ cat test.yaml syslog_output: enabled: true stdout_output: enabled: true sed の N コマンドを使って次の行を置換できる。 -i.org で元のファイルは test.yaml.org に…

AWS CLI の s3 cp/sync は自動的にチェックサムでデータ整合性チェックしている

AWS

AWS CLI の s3 cp/sync は自動的にチェックサムでデータ整合性チェックしている。 Q: Does the AWS CLI validate checksums? The AWS CLI will perform checksum validation for uploading and downloading files in specific scenarios. Upload The AWS CLI…

PostgreSQL で PARTITION の ATTACH/DETACH 時のロック

ATTACH 親テーブルは SHARE UPDATE EXCLUSIVE lock、子テーブルは ACCESS EXCLUSIVE lock が取得される。 DETACH 外部キーでパーティションテーブルを参照しているテーブルに SHARE lock が獲得される。 参考 ALTER TABLE changes the definition of an exis…

PostgreSQL でのパーティションメンテナンス

PostgreSQL の宣言的パーティションでパーティションのメンテナンスを行う。 pgbench(PostgreSQL 13) でパーティションテーブルを作成して、データをロードする。 $ /usr/pgsql-13/bin/pgbench -i -s 100 -U awsuser -h aurora-postgres124.cluster-********…

Aurora PostgreSQL で Writer でテーブルロック獲得時の Reader の状況

AWS

手順 Writer pgbench(PostgreSQL 13) でパーティションテーブルを作成して、データをロードする。 $ /usr/pgsql-13/bin/pgbench -i -s 100 -U awsuser -h aurora-postgres124.cluster-********.ap-northeast-1.rds.amazonaws.com -d postgres --partitions=1…

API Gateway で Cloudfront 経由のアクセスのみ許可する

AWS

サマリ 手順 API Gateway REST APIキーを作成、GET メソッドを統合タイプ: Mock で作成し、使用量プランと紐付ける [リソース]-[GETメソッド]-[メソッドリクエスト]で [API キーの必要性] を true に設定する。 [APIキー]を選択し、CloudFront に設定するAPI…

pgbench でパーティションを使う

Amazon Linux 2 に PostgreSQL 13 をインストールする - ablog データをロードする $ /usr/pgsql-13/bin/pgbench -i -s 100 -U awsuser -h aurora-postgres124.cluster-********.ap-northeast-1.rds.amazonaws.com -d postgres --partitions=10 --partition-…

Amazon Linux 2 に PostgreSQL 13 をインストールする

AWS

postgresql13、postgresql13-contrib をインストール $ sudo rpm -ivh --nodeps https://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm $ sudo perl -i.org -pe 's/\$releasever/7/g' /etc/yum.repos.d/p…