ablog

不器用で落着きのない技術者のメモ

2024-01-01から1年間の記事一覧

Amazon Redsfhit の ra3 インスタンスの最小ノード数は 2 ノード

AWS

Amazon Redsfhit の ra3 インスタンスの最小ノード数は 2 ノード。 参考 https://pages.awscloud.com/rs/112-TZM-766/images/20200218_AWS_BlackBelt_NextGenRedshift.pdf

インターフェース型VPCエンドポイント(PrivateLink)のスループット

AWS

デフォルトでは、各 VPC エンドポイントは、アベイラビリティーゾーンあたり最大 10 Gbps の帯域幅をサポートし、最大 100 Gbps まで自動的にスケールアップします。すべてのアベイラビリティーゾーンに負荷を分散する場合の VPC エンドポイントの最大帯域幅…

Redshift にRedshift-managed VPCE 経由で接続した場合の stl_connection_log.remotehost に接続元ホストの IP アドレスが入るか

結論としてはリモートホストの IP アドレスが入ることを確認した。 通常のエンドポイントと VPCE 経由の両方で接続する 通常のクラスターエンドポイントから接続して、クエリを発行、切断する。 [ec2-user@ip-172-31-0-101 ~]$ curl http://169.254.169.254/…

Redshift で監査ログを有効化する

AWS

マネジメントコンソールで Redshift クラスターを選択し、[プロパティ]-[データベース設定]-[編集]-[監査ログを編集] を選択して設定する。 Amazon Redshift で監査ログ記録をオンにする | AWS re:Post

Redshift Managed VPC Endpoint を使用する

参考 Redshift が管理する VPC エンドポイントの操作 - Amazon Redshift

Redshift でテーブルにカラムを追加できる位置

Redshift でテーブルの末尾にしかカラムを追加できない。ドキュメントを見る限りカラム位置を指定するような構文はない。 接続する $ psql -a "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev …

Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラー

事象 Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラーが発生する。 Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaws.com'. An established connectio…

Azure Data Factory から AWS Transfer Faimily の SFTP に公開鍵認証で接続する

AWS Transfer Family の設定 IAM ロールの作成 以下の IAM ポリシーを作成して、IAM ロールにアタッチする。 { "Version": "2012-10-17", "Statement": [ { "Sid": "AllowListingOfUserFolder", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Ef…

Azure Data Factory から AWS Transfer Family の SFTP へ接続しようとすると "Failed to connect to Sftp server '...'. Server HMAC algorithm not found" エラーが発生する

事象 Azure Data Factory から AWS Transfer Family の SFTP へ接続しようとすると以下のエラーが発生する。 Error code: SftpFailedToConnectToSftpServer Details: Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaw…

AWS Transfer Family の SFTP でパスワード認証を使う

AWS

AWS Transfer Family の SFTP でパスワード認証を行いたい場合、こちらの CloudFormation Template を実行し、Transfer Family、API Gateway、Lambda、Secrets Manager のリソースを作成する。あとは、Secrets Manager で以下を設定してやれば OK。 シークレ…

AzureのパブリックIPアドレス範囲

AzureのパブリックIPアドレス範囲 #Azure - Qiita

Amazon Linux 2023 で sshd のログを確認する

AWS

$ sudo journalctl -u sshd Apr 01 00:51:17 ip-172-31-29-44.ap-northeast-1.compute.internal sshd[2155]: Server listening on 0.0.0.0 port 22. Apr 01 00:51:17 ip-172-31-29-44.ap-northeast-1.compute.internal sshd[2155]: Server listening on :: p…

sftp でパスワード認証を有効にする

EC2 インスタンスを作成する パスワードを設定する [root@ip-172-31-29-44 ~]# passwd ec2-user Changing password for user ec2-user. New password: Retype new password: passwd: all authentication tokens updated successfully. パスワード認証を許可…

xargs -P を使って並列で圧縮・ファイル転送する

xargs -P を使って並列で圧縮・ファイル転送する # 10000 行のファイルを作成する perl -le 'printf(qq/%05d\n/, $_) for 1..10000' > total # 1000 行ごとにファイルを分割する split --numeric-suffixes=1 -l 1000 total splited_ # 8 並列で圧縮する find…

AWS Transfer Family の SFTP の認証

AWS

SSH 公開鍵認証 【2022年10月版】AWS Transfer Family の SFTP を使ってみた | DevelopersIO パスワード認証 https://dev.classmethod.jp/articles/aws-transfer-family-sftp-with-password-method/:tilte

rsql で -v オプションと -c オプションを併用するとエラーになる問題の回避策

AWS

事象 rsql で -v オプションと -c オプションを併用するとエラーになる。 $ rsql -h redshift-cluster-poc-central.ceyg6jv96hfq.ap-northeast-1.redshift.amazonaws.com -U awsuser -d dev -v var_table_name='version()' -c 'select * from :var_table_nam…

Amazon Linux 2 に rsql をインストールする

AWS

環境 $ cat /etc/system-release Amazon Linux release 2 (Karoo) $ uname -r 5.10.130-118.517.amzn2.x86_64 インストールする sudo yum -y install unixODBC curl -L -O https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.5.9.1011/AmazonRedsh…

Azure から AWS へデータ連携する

Azure Data Lake Storage Gen2 使ってみた #初心者 - Qiita Solved: Unable to mount the blob storage account as soft d... - Databricks - 27279

国内トラベルグッズメモ

電子機器 MacBook Pro 14インチ(M1) Shokz AirPods Pro Apple Watch 充電アダプター・ケーブル モバイルバッテリー スポーティ フ―ディー ブラック(+CLOTHET) ジョガーパンツ ブラック(+CLOTHET) スニーカー(NIKE Air Max 97) スニーカー(Valsport …

sed でファイルの先頭行に文字列を挿入する

sed でファイルの先頭行に文字列を挿入したメモ。 文字列を挿入する $ ls ks*|while read LINE; do sed -i '1s/^/CONSISTENCY LOCAL_QUORUM;\n/' ${LINE}; done 確認する $ head ks_insert_000 CONSISTENCY LOCAL_QUORUM; INSERT INTO poc.partition_id_dist…

split コマンドでファイルを分割する

split コマンドでファイルを分割したメモ。 d: サフィックスを数値にする a: サフィックスの桁数を指定する l: 何行で分割するかを指定する $ split -d -a 3 -l 1000 base_insert.cql ks_insert_ $ ls |head base_insert.cql ks_insert_000 ks_insert_001 ks…

cqlsh からスクリプトファイルを実行する

AWS

実行するスクリプトファイルの内容 $ cat insert_small.cql CONSISTENCY LOCAL_QUORUM ; INSERT INTO poc.partition_id_dist_test (partition_id, date_time) VALUES (001, '2024-01-10 17:30:00'); INSERT INTO poc.partition_id_dist_test (partition_id, …

Amazon Keyspaces で VPC エンドポイントを設定しているVPCでグローバルエンドポイントとVPCエンドポイントを併用する方法

AWS

Amazon Keyspaces で VPC エンドポイントを設定しているVPCでグローバルエンドポイントとVPCエンドポイントを併用する方法。 方法 VPC エンドポイントで [プライベート DNS 名を有効化] のチェックを外す。 グローバルエンドポイントに接続するときは cassan…

Redshift でクエリテキストが 4000 文字を超える場合にクエリ全文を取得する

AWS

STL_QUERYTEXT に保存された SQL を再構築するには、次の SQL を実行します。 select LISTAGG(CASE WHEN LEN(RTRIM(text)) = 0 THEN text ELSE RTRIM(text) END, '') within group (order by sequence) AS text from stl_querytext where query=pg_last_quer…

DynamoDB の ConsistentRead

AWS

Read operations such as GetItem, Query, and Scan provide an optional ConsistentRead parameter. If you set ConsistentRead to true, DynamoDB returns a response with the most up-to-date data, reflecting the updates from all prior write operat…

Redshift Serveless でモニタリングする項目

Redshift Serveless でモニタリングする項目 QueriesQueued 正常時のワークロードの最大同時実行数の50%を超えた場合、最大RPU(設定している場合)の増加などを検討する。 例)正常時のワークロードで最大同時実行数が 20 の場合、キュー待ちクエリ数が10を…

Redshift のオブジェクト名の大文字小文字の区別について

AWS

検証結果 enable_case_sensitive_identifier が true で、DDL やクエリでダブルクオートで囲むと大文字小文字を区別する。 enable_case_sensitive_identifier が false だと大文字小文字を区別しない(デフォルトは false)。 ダブルクオートで囲まないと小…

QueryEditor v2 で Redshift にアクセスするための最小権限

QueryEditor v2 を利用する IAM ロール / IAM ユーザーにアタッチする。 IAM ポリシー AmazonRedshiftReadOnlyAccess AmazonRedshiftQueryEditorV2NoSharing IAM 権限 redshift:GetClusterCredential redshift:CreateClusterUser redshift:JoinGroup { "Vers…

YCSB から DynamoDB に結果整合性と強い整合性で負荷をかけてみて、レイテンシを計測してみた

AWS

YCSB から DynamoDB に結果整合性と強い整合性で負荷をかけてみて、レイテンシを計測してみた。 DynamoDB のテーブルを作成する テーブル名: usertable パーティションキー: firstname (String) キャパシティモード: Provisioned (RCU: 10,000、WCU: 10,000…

Amazon Linux 2023 に psql、pgbench をインストールする

psql sudo dnf install -y postgresql15 pgbench sudo dnf install -y postgresql15-contrib 参考 PostgreSQL DB インスタンスを作成して接続する - Amazon Relational Database Service