AWS
Amazon Redsfhit の ra3 インスタンスの最小ノード数は 2 ノード。 参考 https://pages.awscloud.com/rs/112-TZM-766/images/20200218_AWS_BlackBelt_NextGenRedshift.pdf
デフォルトでは、各 VPC エンドポイントは、アベイラビリティーゾーンあたり最大 10 Gbps の帯域幅をサポートし、最大 100 Gbps まで自動的にスケールアップします。すべてのアベイラビリティーゾーンに負荷を分散する場合の VPC エンドポイントの最大帯域幅…
マネジメントコンソールで Redshift クラスターを選択し、[プロパティ]-[データベース設定]-[編集]-[監査ログを編集] を選択して設定する。 Amazon Redshift で監査ログ記録をオンにする | AWS re:Post
Redshift でテーブルの末尾にしかカラムを追加できない。ドキュメントを見る限りカラム位置を指定するような構文はない。 接続する $ psql -a "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev …
事象 Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラーが発生する。 Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaws.com'. An established connectio…
AWS Transfer Family の設定 IAM ロールの作成 以下の IAM ポリシーを作成して、IAM ロールにアタッチする。 { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowListingOfUserFolder", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Ef…
事象 Azure Data Factory から AWS Transfer Family の SFTP へ接続しようとすると以下のエラーが発生する。 Error code: SftpFailedToConnectToSftpServer Details: Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaw…
AWS Transfer Family の SFTP でパスワード認証を行いたい場合、こちらの CloudFormation Template を実行し、Transfer Family、API Gateway、Lambda、Secrets Manager のリソースを作成する。あとは、Secrets Manager で以下を設定してやれば OK。 シークレ…
$ sudo journalctl -u sshd Apr 01 00:51:17 ip-172-31-29-44.ap-northeast-1.compute.internal sshd[2155]: Server listening on 0.0.0.0 port 22. Apr 01 00:51:17 ip-172-31-29-44.ap-northeast-1.compute.internal sshd[2155]: Server listening on :: p…
EC2 インスタンスを作成する パスワードを設定する [root@ip-172-31-29-44 ~]# passwd ec2-user Changing password for user ec2-user. New password: Retype new password: passwd: all authentication tokens updated successfully. パスワード認証を許可…
SSH 公開鍵認証 【2022年10月版】AWS Transfer Family の SFTP を使ってみた | DevelopersIO パスワード認証 https://dev.classmethod.jp/articles/aws-transfer-family-sftp-with-password-method/:tilte
事象 rsql で -v オプションと -c オプションを併用するとエラーになる。 $ rsql -h redshift-cluster-poc-central.ceyg6jv96hfq.ap-northeast-1.redshift.amazonaws.com -U awsuser -d dev -v var_table_name='version()' -c 'select * from :var_table_nam…
環境 $ cat /etc/system-release Amazon Linux release 2 (Karoo) $ uname -r 5.10.130-118.517.amzn2.x86_64 インストールする sudo yum -y install unixODBC curl -L -O https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.5.9.1011/AmazonRedsh…
実行するスクリプトファイルの内容 $ cat insert_small.cql CONSISTENCY LOCAL_QUORUM ; INSERT INTO poc.partition_id_dist_test (partition_id, date_time) VALUES (001, '2024-01-10 17:30:00'); INSERT INTO poc.partition_id_dist_test (partition_id, …
Amazon Keyspaces で VPC エンドポイントを設定しているVPCでグローバルエンドポイントとVPCエンドポイントを併用する方法。 方法 VPC エンドポイントで [プライベート DNS 名を有効化] のチェックを外す。 グローバルエンドポイントに接続するときは cassan…
STL_QUERYTEXT に保存された SQL を再構築するには、次の SQL を実行します。 select LISTAGG(CASE WHEN LEN(RTRIM(text)) = 0 THEN text ELSE RTRIM(text) END, '') within group (order by sequence) AS text from stl_querytext where query=pg_last_quer…
Read operations such as GetItem, Query, and Scan provide an optional ConsistentRead parameter. If you set ConsistentRead to true, DynamoDB returns a response with the most up-to-date data, reflecting the updates from all prior write operat…
検証結果 enable_case_sensitive_identifier が true で、DDL やクエリでダブルクオートで囲むと大文字小文字を区別する。 enable_case_sensitive_identifier が false だと大文字小文字を区別しない（デフォルトは false）。 ダブルクオートで囲まないと小…
QueryEditor v2 を利用する IAM ロール / IAM ユーザーにアタッチする。 IAM ポリシー AmazonRedshiftReadOnlyAccess AmazonRedshiftQueryEditorV2NoSharing IAM 権限 redshift:GetClusterCredential redshift:CreateClusterUser redshift:JoinGroup { "Vers…
YCSB から DynamoDB に結果整合性と強い整合性で負荷をかけてみて、レイテンシを計測してみた。 DynamoDB のテーブルを作成する テーブル名: usertable パーティションキー: firstname (String) キャパシティモード: Provisioned （RCU: 10,000、WCU: 10,000…
psql sudo dnf install -y postgresql15 pgbench sudo dnf install -y postgresql15-contrib 参考 PostgreSQL DB インスタンスを作成して接続する - Amazon Relational Database Service
マネジメントコンソールで Redshift Serverless のワークグループ作成時に [データベース名とパスワード] で [管理者ユーザー認証情報をカスタマイズ] をチェックし、[Manually add the admin password] を選択してパスワードを入力する。 参考 Amazon Redsh…
AWS SDK は MD5 以外を使うと自動でチェックサムをチェックしてくれると聞いて試してみた。 新しいチェックサムのサポート 2022 年 2 月 25 日（米国時間）は、S3 の 4 つのチェックサムアルゴリズムの新しいサポートについてお話しします。Amazon S3 に保存…
Amazon Keyspaces の Auto Scaling でスケールアウトするまでの所要時間を実測してみた。 キャパシティモードがプロビジョンドのテーブル最小 RCU/WCU: 2000、最大 RCU/WCU: 20,000、目標使用率: 70% に対して、YCSB から負荷をかけてみて、3〜4分程度でAuto…
cqlsh の TIMING ON コマンドで CQL の実行時間を計測する方法。 以下は cqlsh 6.8 から Amazon Keyspaces に接続して CQL 実行時間を計測した手順。 インストール Apache Cassandra Download | DataStax Enterprise からcqlsh 6.8をダウンロードする。 $ wg…
負荷をかける [ec2-user@ip-172-31-26-19 YCSB]$ ./bin/ycsb run cassandra-cql -p hosts=cassandra.ap-northeast-1.amazonaws.com -p port=9142 -P ./workloads/workloada_keyspaces -s -threads 100 -p cassandra.writeconsistencylevel=LOCAL_QUORUM -p c…
NoSQL 開発者のためのNoSQL Database の選び方 入門(2021, Momoko Asai) Amazon DynamoDB スライド Amazon DynamoDB Advanced Design Pattern(2018 Dev Day Daichi Egawa) Amazon DynamoDB deep dive: Advanced design patterns(2020, oranie) Amazon Dynamo…
VPC内Glueジョブ（Spark、Python shell）から別VPCの Redshift や RDS などに接続できるか。同一 VPC の別 Subnet は当然接続できる。 別 VPC の場合、VPC ピアリングや Transit Gateway で接続すれば接続できる。 参考 AWS Glue 接続とデータベースで異なる…
macOS に AWS CLI v2 をインストールした手順。 インストール % curl "https://awscli.amazonaws.com/AWSCLIV2.pkg" -o "AWSCLIV2.pkg" % sudo installer -pkg ./AWSCLIV2.pkg -target / 確認 % which aws /usr/local/bin/aws % aws --version aws-cli/2.13.…
Amazon KeySpaces は 1 コネクションあたりの CQL のスループットが 3,000 である。デフォルトでパブリックエンドポイントの場合 9 コネクションなので CQL のスループットは 27,000（=3,000 * 9）、VPC エンドポイントの場合はその VPC のサブネット（AZ）…
