2020-12-01から1ヶ月間の記事一覧
macOS Mojave(10.14.6) に AWS CDK をインストールした手順のメモ。 インストール AWS CLI macOS Sierra に AWS CLI をインストール・設定したメモ - ablog macOS で AWS CLI をアップデートする - ablog IAM ユーザーを作成、AWS CLI でアクセスキー、シー…
インストール nodebrew インストール $ brew install nodebrew $ /usr/local/opt/nodebrew/bin/nodebrew setup_dirs ~/.bash_profile に以下を追記 # nodebrew export PATH=/usr/local/var/nodebrew/current/bin:$PATH export NODEBREW_ROOT=/usr/local/var/…
事象 macOS Mojave (10.14.6) に nodebrew で node.js をインストールしようとすると、 "Failed to create the file"、"No such file or directory" という Warning とともに失敗する。 $ nodebrew install-binary latest Fetching: https://nodejs.org/dist…
ToDoリストを作りながら学習しよう！ | 基礎から学ぶ Vue.js の Vue.js のチュートリアルを触ってみた。 $ git clone https://github.com/mio3io/cr-vue.git cr-vue/codes/tutorial-todo/index.html をブラウザで開く。 参考 Vue.jsの「el」とは？ - JavaScr…
root ユーザーでログインして、MFA を入力してログイン出来ない場合は、メールアドレスとパスワードを入力後に[MFAのトラブルシューティング]をクリックし、MFA が使える場合は [MFA の再同期] を試す。MFA を紛失したり、MFA の再同期でうまくいかない場合…
Glue local library は Glue 1.0 と 2.0 の両方の開発に使える。 The AWS Glue Scala library is available in a public Amazon S3 bucket, and can be consumed by the Apache Maven build system. This enables you to develop and test your Python and S…
Redshift から別アカウントの S3 に UNLOAD しつつ、VPCEポリシーで S3 へのアクセスを制限する - ablog の AssumeRole 版を Amazon Redshift 内の別のアカウントからデータをコピーまたはアンロードする の通り試してみた。クロスアカウント Amazon Redshif…
"cannot execute SELECT FOR SHARE/UPDATE in a read-only transaction" エラーになるという当たり前のこと確認してみた。ただそれだけのこと。 $ psql "host=reader-c-1.******.ap-northeast-1.rds.amazonaws.com user=awsuser dbname=postgres port=5432" …
マネジメントコンソールから [IAM]-[ロール]でロールを選択し、[最大セッション時間] で設定する。 参考 IAMロールのセッション期間が1時間から12時間に延長可能になりました | Developers.IO
マネジメントコンソールから、[AWSSystem Manager]-[セッションマネージャー]-[設定]-[編集]-[General preferences]-[Idle session timeout] で 1-60 分の範囲で設定できる。 参考 SSMのセッションマネージャのアイドルタイムアウトとストリームログ出力を試…
VPC Endpoint ポリシーで AWS アカウントID単位で S3 へのアクセスを制限する例。 Using the new s3:ResourceAccount IAM condition key, you can write simple IAM or Virtual Private Cloud Endpoint (VPCE) policies to restrict user or application acc…
設定 RDS PostgreSQL の DB Parameter Group で max_standby_streaming_delay を最小値の 1 秒に設定。 max_standby_streaming_delay=1 手順 Primary postgres=> create table test1 (col1 int); postgres=> insert into test1 values (generate_series(1,10…
JPOUG Advent Calendar 2020 の21日目のエントリーです。20日目は@discus_hamburg さんのMac De Oracle: 標準はあるにはあるが癖の多いSQL 全部俺 #20 結果セットを単一列に連結するにも癖があるでした。今回は Tanel Poder の Linux Process Snapper を紹介…
get-findings — AWS CLI 1.18.197 Command Reference batch-update-findings — AWS CLI 1.18.195 Command Reference
よくある質問 - Aamzon Kinesis Data Streams | AWS Kinesis Client Libraryを利用してKinesis アプリケーションをつくったよ - Tech Blog - Recruit Lifestyle Engineer Python での Kinesis クライアントライブラリコンシューマーの開発 - Amazon Kinesis …
各 AZ はそれぞれ他の AZ から物理的に意味のある距離、つまり数キロメートル離れていますが、すべて 100 km 以内 (互いに 60 マイル) に配置されています。 グローバルインフラストラクチャリージョンと AZ
AWS CLI で DynamoDB のテーブルを作成する ddb_test_table.json { "TableName": "testTable", "AttributeDefinitions": [ { "AttributeName": "col1", "AttributeType": "S" }, { "AttributeName": "col2", "AttributeType": "S" } ], "KeySchema": [ { "Ke…
UNLOAD先のアカウント S3 バケット "redshift-unload" のバケットポリシー { "Version": "2012-10-17", "Statement": [ { "Sid": "Allow from 123456789012 and VPCE", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::123456789012:role/MyRedshif…
[ジョブの編集]-[セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)]-[ジョブパラメータ] で以下のように設定する。 キー: --conf 値: spark.sql.parquet.enableVectorizedReader=false 関連 Glue Spark ジョブで dynamic_frame から Pa…
Amazon EBS volumes are billed by the gigabyte-month (Gb-month). The GB-month is a measure of how many gigabytes of EBS storage are provisioned to your account and how long the EBS storage is provisioned to your account.In a 31-day month, y…
1 か月に請求されるストレージの量は、月全体を通じて使用される平均ストレージです。これには、お客様のアカウントで、お客様が作成したバケット内に格納されるすべてのオブジェクトデータやメタデータが含まれます。当社は「TimedStorage-ByteHrs」で、お…
1 か月に請求されるストレージの量は、月全体を通じて使用される平均ストレージです。これには、お客様のアカウントで、お客様が作成したバケット内に格納されるすべてのオブジェクトデータやメタデータが含まれます。当社は「TimedStorage-ByteHrs」で、お…
インストール 各種パッケージ $ sudo yum -y install htop strace perf iotop pidstat git gcc dstat sysdig sysdig でシステムワイドに実行回数が多いシステムコールを調べる - ablog 0x.tools Amazon Linux 2 に Tanel Poder の 0x.tools をインストールす…
AWS Security Hub のチェック結果を AWS CLI で取得したい場合は get-findings で取得できる。 $ aws securityhub get-findings $ aws securityhub get-findings| jq -r '.Findings[] | @text "\(.Title)\t\(.Compliance.Status)\t\(.LastObservedAt)”’ さら…
事象 以下のエラーメッセージが表示される。 GENERIC_INTERNAL_ERROR: Encoding DELTA_BINARY_PACKED is only supported for type INT32 参考 Fix Parquet Encoding check with DELTA_BINARY_PACKED support INT64 by zhenxiao · Pull Request #334 · presto…
インストール JDK Java SE Development Kit 11- - Downloads から macOS Installer をダウンロード、jdk-11.0.9_osx-x64_bin.dmg を実行してウイザードに従ってインストール。 parquet-tools $ brew install parquet-tools 使ってみる $ parquet-tools meta …
環境 ソース: RDS PostgreSQL 11.7 ターゲット: Aurora PostgreSQL 11.7 RDS のパラメータグループ rds.logical_replication=1 wal_sender_timeout=0 ソースエンドポイント エンドポイント固有の設定: slotName=sruy227v7idsg3dw_00016396_f87b7292_a6a2_42d…
インストール $ sudo yum -y install postgresql-server postgresql-devel postgresql-contrib 初期セットアップ $ sudo postgresql-setup initdb 起動 $ sudo systemctl start postgresql.service ステータスを確認する $ sudo systemctl status postgresql…
設定 Aurora PostgreSQL の DB Cluster Parameter Group で max_standby_streaming_delay を最小値の 1 秒に設定。 max_standby_streaming_delay=1000 手順 Writer postgres=> create table test1 (col1 int); postgres=> insert into test1 values (generat…
スレッド ID を確認する。 Id 列がスレッドID mysql> SHOW FULL PROCESSLIST; +----+----------+---------------------+------+---------+------+-------------+-----------------------------------------------------------------------------------------…
