ablog

不器用で落着きのない技術者のメモ

インターフェース型VPCエンドポイント(PrivateLink)のスループット

デフォルトでは、各 VPC エンドポイントは、アベイラビリティーゾーンあたり最大 10 Gbps の帯域幅をサポートし、最大 100 Gbps まで自動的にスケールアップします。すべてのアベイラビリティーゾーンに負荷を分散する場合の VPC エンドポイントの最大帯域幅は、アベイラビリティーゾーンの数に 100 Gbps を掛けたものです。アプリケーションでより高いスループットが必要な場合は、 AWS サポートにお問い合わせください。

AWS PrivateLink クォータ - Amazon Virtual Private Cloud

Redshift にRedshift-managed VPCE 経由で接続した場合の stl_connection_log.remotehost に接続元ホストの IP アドレスが入るか

結論としてはリモートホストの IP アドレスが入ることを確認した。

通常のエンドポイントと VPCE 経由の両方で接続する

  • 通常のクラスターエンドポイントから接続して、クエリを発行、切断する。
[ec2-user@ip-172-31-0-101 ~]$ curl http://169.254.169.254/latest/meta-data/hostname
ip-172-31-0-101.ap-northeast-1.compute.internal
[ec2-user@ip-172-31-0-101 ~]$ psql "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev port=5439"
psql (13.7, server 8.0.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

dev=# select now();
              now
-------------------------------
 2024-06-20 02:32:06.687504+00
(1 row)

dev=# \q
  • Redshift-managed VPC endpoint から接続して、クエリを発行、切断する。
[ec2-user@ip-172-17-3-212 ~]$ curl http://169.254.169.254/latest/meta-data/hostname
ip-172-17-3-212.ap-northeast-1.compute.internal
[ec2-user@ip-172-17-3-212 ~]$ psql "host=rs-vpce-poc-central-public-endpoint-kzi2t4cottw7qieudolz.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev port=5439"
psql (13.7, server 8.0.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

dev=# select now();
              now
-------------------------------
 2024-06-20 02:33:08.027258+00
(1 row)

dev=# \q

STL_CONNECTION_LOG の remotehost 列を確認する。

ev=# select top 10 event,recordtime,remotehost,remoteport,dbname,username,authmethod from STL_CONNECTION_LOG where remotehost not in ('127.0.0.1', '[local]') orderby recordtime desc;
-[ RECORD 1 ]--------------------------------------------------
event      | disconnecting session
recordtime | 2024-06-20 02:33:09.818793
remotehost | ::ffff:172.17.3.212
remoteport | 33218
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 2 ]--------------------------------------------------
event      | set application_name
recordtime | 2024-06-20 02:32:50.64765
remotehost | ::ffff:172.17.3.212
remoteport | 33218
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 3 ]--------------------------------------------------
event      | initiating session
recordtime | 2024-06-20 02:32:50.647539
remotehost | ::ffff:172.17.3.212
remoteport | 33218
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 4 ]--------------------------------------------------
event      | authenticated
recordtime | 2024-06-20 02:32:50.647434
remotehost | ::ffff:172.17.3.212 ★別VPCのEC2から Redshift-managed VPCE 経由接続した場合、接続元 EC2 のプライベートIPが記録されている
remoteport | 33218
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 5 ]--------------------------------------------------
event      | disconnecting session
recordtime | 2024-06-20 02:32:12.746419
remotehost | ::ffff:172.31.0.101 ★同一VPC内のEC2から接続した場合、接続元EC2のプライベートIPが記録されている
remoteport | 52836
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 6 ]--------------------------------------------------
event      | set application_name
recordtime | 2024-06-20 02:32:02.845983
remotehost | ::ffff:172.31.0.101
remoteport | 52836
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 7 ]--------------------------------------------------
event      | initiating session
recordtime | 2024-06-20 02:32:02.84587
remotehost | ::ffff:172.31.0.101
remoteport | 52836
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 8 ]--------------------------------------------------
event      | authenticated
recordtime | 2024-06-20 02:32:02.845774
remotehost | ::ffff:172.31.0.101
remoteport | 52836
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 9 ]--------------------------------------------------
event      | disconnecting session
recordtime | 2024-06-20 02:31:36.468434
remotehost | ::ffff:172.31.0.101
remoteport | 42932
dbname     | dev
username   | awsuser
authmethod | password
-[ RECORD 10 ]-------------------------------------------------
event      | set application_name
recordtime | 2024-06-20 02:31:31.169609
remotehost | ::ffff:172.31.0.101
remoteport | 42932
dbname     | dev
username   | awsuser
authmethod | password

Redshift で監査ログを有効化する

マネジメントコンソールで Redshift クラスターを選択し、[プロパティ]-[データベース設定]-[編集]-[監査ログを編集] を選択して設定する。

Amazon Redshift で監査ログ記録をオンにする | AWS re:Post

Redshift でテーブルにカラムを追加できる位置

Redshift でテーブルの末尾にしかカラムを追加できない。ドキュメントを見る限りカラム位置を指定するような構文はない。

  • 接続する
$ psql -a "host=redshift-cluster-poc-central.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev port=5439"
  • テーブルを作成
dev=# create table test(
dev(#   name varchar(10),
dev(#   updated timestamp
dev(# );
CREATE TABLE
  • カラム追加
dev=# alter table test add column added_column int;
ALTER TABLE
  • 追加したカラムを確認
dev=# show table test;
               Show Table DDL statement
------------------------------------------------------
 CREATE TABLE public.test (                          +
     name character varying(10) ENCODE lzo,          +
     updated timestamp without time zone ENCODE az64,+
     added_column integer ENCODE az64                +
 )                                                   +
 DISTSTYLE AUTO;
(1 row)

dev=#
dev=# SHOW COLUMNS FROM TABLE dev.public.test;
 database_name | schema_name | table_name | column_name  | ordinal_position | column_default | is_nullable |          data_type          | character_maximum_length | numeric_precision | remarks
---------------+-------------+------------+--------------+------------------+----------------+-------------+-----------------------------+--------------------------+-------------------+---------
 dev           | public      | test       | added_column |                3 |                | YES         | integer                     |                          |                32 |
 dev           | public      | test       | name         |                1 |                | YES         | character varying           |                       10 |                   |
 dev           | public      | test       | updated      |                2 |                | YES         | timestamp without time zone |                          |                   |
(3 rows)

Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラー

事象

  • Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラーが発生する。
Failed to connect to Sftp server 's-********.server.transfer.ap-northeast-1.amazonaws.com'.
An established connection was aborted by the server.


解決策

  • AWS Transfer Family の SFTP の暗号化アルゴリズムのオプションを TransferSecurityPolicy-2020-06 以前に設定する。
  • マネジメントコンソールで [AWS tansfer Family] - [サーバー] - [対象のサーバー] を選択し、[その他の詳細] の [編集] をクリック、[暗号化アルゴリズムのオプション] - [セキュリティポリシー] で TransferSecurityPolicy-2020-06 を選択して保存する。