ablog

不器用で落着きのない技術者のメモ

2020-12-01から1ヶ月間の記事一覧

macOS に AWS CDK をインストールして使ってみる

AWS

macOS Mojave(10.14.6) に AWS CDK をインストールした手順のメモ。 インストール AWS CLI macOS Sierra に AWS CLI をインストール・設定したメモ - ablog macOS で AWS CLI をアップデートする - ablog IAM ユーザーを作成、AWS CLI でアクセスキー、シー…

macOS に node.js をインストールする

インストール nodebrew インストール $ brew install nodebrew $ /usr/local/opt/nodebrew/bin/nodebrew setup_dirs ~/.bash_profile に以下を追記 # nodebrew export PATH=/usr/local/var/nodebrew/current/bin:$PATH export NODEBREW_ROOT=/usr/local/var/…

macOS に nodebrew で node.js をインストールしようとすると "Failed to create the file"、"No such file or directory"

事象 macOS Mojave (10.14.6) に nodebrew で node.js をインストールしようとすると、 "Failed to create the file"、"No such file or directory" という Warning とともに失敗する。 $ nodebrew install-binary latest Fetching: https://nodejs.org/dist…

Vue.js を触ってみる

ToDoリストを作りながら学習しよう! | 基礎から学ぶ Vue.js の Vue.js のチュートリアルを触ってみた。 $ git clone https://github.com/mio3io/cr-vue.git cr-vue/codes/tutorial-todo/index.html をブラウザで開く。 参考 Vue.jsの「el」とは? - JavaScr…

AWSアカウントに root ユーザーでログイン出来ない場合

AWS

root ユーザーでログインして、MFA を入力してログイン出来ない場合は、メールアドレスとパスワードを入力後に[MFAのトラブルシューティング]をクリックし、MFA が使える場合は [MFA の再同期] を試す。MFA を紛失したり、MFA の再同期でうまくいかない場合…

Glue local library は Glue 1.0 と 2.0 の両方の開発に使える

AWS

Glue local library は Glue 1.0 と 2.0 の両方の開発に使える。 The AWS Glue Scala library is available in a public Amazon S3 bucket, and can be consumed by the Apache Maven build system. This enables you to develop and test your Python and S…

Redshift から別アカウントの S3 バケットに AssumeRole で UNLOAD する

AWS

Redshift から別アカウントの S3 に UNLOAD しつつ、VPCEポリシーで S3 へのアクセスを制限する - ablog の AssumeRole 版を Amazon Redshift 内の別のアカウントからデータをコピーまたはアンロードする の通り試してみた。クロスアカウント Amazon Redshif…

Aurora PostgreSQL の ReadReplica で SELECT FOR SHARE/UPDATE を実行すると

AWS

"cannot execute SELECT FOR SHARE/UPDATE in a read-only transaction" エラーになるという当たり前のこと確認してみた。ただそれだけのこと。 $ psql "host=reader-c-1.******.ap-northeast-1.rds.amazonaws.com user=awsuser dbname=postgres port=5432" …

IAM ロールのスイッチロールのセッションタイムアウト時間を伸ばす

AWS

マネジメントコンソールから [IAM]-[ロール]でロールを選択し、[最大セッション時間] で設定する。 参考 IAMロールのセッション期間が1時間から12時間に延長可能になりました | Developers.IO

セッションマネージャのタイムアウトを伸ばす

AWS

マネジメントコンソールから、[AWSSystem Manager]-[セッションマネージャー]-[設定]-[編集]-[General preferences]-[Idle session timeout] で 1-60 分の範囲で設定できる。 参考 SSMのセッションマネージャのアイドルタイムアウトとストリームログ出力を試…

VPCE ポリシーで AWS アカウントID単位で S3 へのアクセスを制限する

AWS

VPC Endpoint ポリシーで AWS アカウントID単位で S3 へのアクセスを制限する例。 Using the new s3:ResourceAccount IAM condition key, you can write simple IAM or Virtual Private Cloud Endpoint (VPCE) policies to restrict user or application acc…

RDS PostgreSQL での VACUUM とリードレプリカでの SELECT のコンフリクト

AWS

設定 RDS PostgreSQL の DB Parameter Group で max_standby_streaming_delay を最小値の 1 秒に設定。 max_standby_streaming_delay=1 手順 Primary postgres=> create table test1 (col1 int); postgres=> insert into test1 values (generate_series(1,10…

Tanel Poder の Linux Process Snapper の紹介

JPOUG Advent Calendar 2020 の21日目のエントリーです。20日目は@discus_hamburg さんのMac De Oracle: 標準はあるにはあるが癖の多いSQL 全部俺 #20 結果セットを単一列に連結するにも癖があるでした。今回は Tanel Poder の Linux Process Snapper を紹介…

Security Hub でチェック結果を更新する

AWS

get-findings — AWS CLI 1.18.197 Command Reference batch-update-findings — AWS CLI 1.18.195 Command Reference

KCL 関連メモ

AWS

よくある質問 - Aamzon Kinesis Data Streams | AWS Kinesis Client Libraryを利用してKinesis アプリケーションをつくったよ - Tech Blog - Recruit Lifestyle Engineer Python での Kinesis クライアントライブラリコンシューマーの開発 - Amazon Kinesis …

AZ間の距離

AWS

各 AZ はそれぞれ他の AZ から物理的に意味のある距離、つまり数キロメートル離れていますが、すべて 100 km 以内 (互いに 60 マイル) に配置されています。 グローバルインフラストラクチャリージョンと AZ

AWS CLI で Amazon DynamoDB にテーブルを作成する

AWS

AWS CLI で DynamoDB のテーブルを作成する ddb_test_table.json { "TableName": "testTable", "AttributeDefinitions": [ { "AttributeName": "col1", "AttributeType": "S" }, { "AttributeName": "col2", "AttributeType": "S" } ], "KeySchema": [ { "Ke…

Redshift から別アカウントの S3 に UNLOAD しつつ、VPCEポリシーで S3 へのアクセスを制限する

AWS

UNLOAD先のアカウント S3 バケット "redshift-unload" のバケットポリシー { "Version": "2012-10-17", "Statement": [ { "Sid": "Allow from 123456789012 and VPCE", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::123456789012:role/MyRedshif…

AWS Glue の Spark ジョブで spark.conf.set() する方法

AWS

[ジョブの編集]-[セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)]-[ジョブパラメータ] で以下のように設定する。 キー: --conf 値: spark.sql.parquet.enableVectorizedReader=false 関連 Glue Spark ジョブで dynamic_frame から Pa…

GB-Month の計算方法

AWS

Amazon EBS volumes are billed by the gigabyte-month (Gb-month). The GB-month is a measure of how many gigabytes of EBS storage are provisioned to your account and how long the EBS storage is provisioned to your account.In a 31-day month, y…

Amazon S3 のストレージ料金の計算方法

AWS

1 か月に請求されるストレージの量は、月全体を通じて使用される平均ストレージです。これには、お客様のアカウントで、お客様が作成したバケット内に格納されるすべてのオブジェクトデータやメタデータが含まれます。当社は「TimedStorage-ByteHrs」で、お…

S3 のストレージ料金の計算方法

AWS

1 か月に請求されるストレージの量は、月全体を通じて使用される平均ストレージです。これには、お客様のアカウントで、お客様が作成したバケット内に格納されるすべてのオブジェクトデータやメタデータが含まれます。当社は「TimedStorage-ByteHrs」で、お…

メモ

インストール 各種パッケージ $ sudo yum -y install htop strace perf iotop pidstat git gcc dstat sysdig sysdig でシステムワイドに実行回数が多いシステムコールを調べる - ablog 0x.tools Amazon Linux 2 に Tanel Poder の 0x.tools をインストールす…

AWS Security Hub のチェック結果を AWS CLI で取得して変更する

AWS

AWS Security Hub のチェック結果を AWS CLI で取得したい場合は get-findings で取得できる。 $ aws securityhub get-findings $ aws securityhub get-findings| jq -r '.Findings[] | @text "\(.Title)\t\(.Compliance.Status)\t\(.LastObservedAt)”’ さら…

Athena で Parquet にクエリすると "DELTA_BINARY_PACKED is only supported for type INT32"

AWS

事象 以下のエラーメッセージが表示される。 GENERIC_INTERNAL_ERROR: Encoding DELTA_BINARY_PACKED is only supported for type INT32 参考 Fix Parquet Encoding check with DELTA_BINARY_PACKED support INT64 by zhenxiao · Pull Request #334 · presto…

parquet-tools を macOS にインストールする

インストール JDK Java SE Development Kit 11- - Downloads から macOS Installer をダウンロード、jdk-11.0.9_osx-x64_bin.dmg を実行してウイザードに従ってインストール。 parquet-tools $ brew install parquet-tools 使ってみる $ parquet-tools meta …

RDS PostgreSQL から Aurora PostgreSQL へ DMS CDC でデータ連携する

AWS

環境 ソース: RDS PostgreSQL 11.7 ターゲット: Aurora PostgreSQL 11.7 RDS のパラメータグループ rds.logical_replication=1 wal_sender_timeout=0 ソースエンドポイント エンドポイント固有の設定: slotName=sruy227v7idsg3dw_00016396_f87b7292_a6a2_42d…

Amazon Linux 2 に PostgreSQL をインストール・起動・接続する

インストール $ sudo yum -y install postgresql-server postgresql-devel postgresql-contrib 初期セットアップ $ sudo postgresql-setup initdb 起動 $ sudo systemctl start postgresql.service ステータスを確認する $ sudo systemctl status postgresql…

Aurora PostgreSQL での VACUUM とリードレプリカでの SELECT のコンフリクト

AWS

設定 Aurora PostgreSQL の DB Cluster Parameter Group で max_standby_streaming_delay を最小値の 1 秒に設定。 max_standby_streaming_delay=1000 手順 Writer postgres=> create table test1 (col1 int); postgres=> insert into test1 values (generat…

Aurora MySQL でセッションを kill する方法

AWS

スレッド ID を確認する。 Id 列がスレッドID mysql> SHOW FULL PROCESSLIST; +----+----------+---------------------+------+---------+------+-------------+-----------------------------------------------------------------------------------------…