Redshift ユーザーによって COPY/UNLOAD でアクセスできる S3 のフォルダ（プレフィックス）を分ける方法をメモ。 実現すること Redshift ユーザー "rs_user_a" は S3 パス "s3://s3-for-redshift/rs_user_a/" 以下のみに COPY/UNLOAD でアクセスできる。 Re…

Redshift で UNLOAD した時のファイル suffix の命名規則 ネーミングルール CSV 圧縮なし: 000 gzip: 000.gz bzip2: 000.bz2 zstd: 000.zst JSON 圧縮なし: 000.json gzip: 000.json.gz bzip2: 000.json.bz2 zstd: 000.json.zst Parquet 000.parquet 検証手…

COPY コマンドで Redshift にデータロード時に無効な UTF-8 文字がある場合、ACCEPTINVCHARS で固定の文字列に置換することができる。 ACCEPTINVCHARS [AS] ['replacement_char'] データに無効な UTF-8 文字がある場合でも、VARCHAR 列へのデータのロードを…

Redshift で COPY コマンド実行時に svl_query_metrics_summary や sys_query_history に情報が記録されることを確認したメモ。 結果 dev=# copy public.customer from 's3://test-rs-copy-bucket/csv/customer/' csv dev-# iam_role 'arn:aws:iam::12345678…

Redshift の STL テーブルのクエリID（query列）と SYS ビューのクエリID（query_id）は別の値のため、クエリIDで結合することはできない。トランザクションID（STLとSYSのトランザクションIDが 1:1 の場合）で結合することができる。 例 dev=# \timing on d…

STL STV SVL SVV SYS タイプ テーブル テーブル ビュー ビュー ビュー 生成方法 ディスク上のログ オンメモリーデータ STLへの参照 STVへの参照 - 用途 過去の実行記録の参照 現在進行中の処理の参照 STL/STVデータを組み合わせて別軸で分析 同左 - 記録タイ…