Redshift で非アクティブなセッションのタイムアウト時間を設定する

AWS Redshift

SESSION TIMEOUT limit | RESET SESSION TIMEOUT セッションが非アクティブまたはアイドル状態を維持する最大時間 (秒) です。指定できる範囲は 60 秒 (1 分) から 1,728,000 秒 (20 日) です。ユーザーに対しセッションタイムアウトが設定されていない場合…

2025-10-30

『実践 Apache Iceberg』徹底解説 - 著者と共に学ぶ Iceberg の最新情報

aws.amazon.com 参考リンク Apache Iceberg Table Spec v3 新機能「Row Lineage Tracking」の紹介 - Bering Note – formerly 流沙河鎮 Apache Iceberg Meetup in Japan #1 - Iceberg V3 Spec - Speaker Deck IcebergにおけるDeletion Vectorの実装『実践 Ap…

2025-10-24

Redshift で非 ASCII 文字をフィルタする

AWS Redshift

Redshift で非 ASCII 文字をフィルタする。テーブルを作成する。 CREATE TABLE source_table ( col1 VARCHAR(100) ); CREATE TABLE target_table ( col1 VARCHAR(100) ); 非 ASCII 文字を含むレコードを insert する。 insert into source_table values('as…

2025-10-23

Redshift でユーザー別のデータベース接続数の推移を調べる

AWS Redshift

Redshift でユーザー別のデータベース接続数の推移を調べる。調査クエリ WITH RECURSIVE time_series(time_value) AS ( /* Recursive CTE で過去 7 日間の 1 分ごとの時間を生成 */ -- 開始時点（7日前） SELECT date_trunc('minute', dateadd(day, -7, GET…

2025-10-23

Redshift の Multi-AZ で参照可能なシステムテーブル・ビュー

AWS Redshift

調査クエリ SELECT relname FROM PG_CLASS_INFO WHERE (upper(relname) LIKE 'STL_%' OR upper(relname) LIKE 'SVCS_%' OR upper(relname) LIKE 'SVL_%' OR upper(relname) LIKE 'SVV_%' OR upper(relname) LIKE 'STV_%' OR upper(relname) LIKE 'SYS_%') AN…

2025-10-21

Redshift で WLM キューが溜まった状態から Concurrency scaling を有効化後に Scaling cluster でクエリが実行されるまでの時間

AWS Redshift

Redshift で WLM キューが溜まった状態から Concurrency scaling を有効化後に Scaling cluster でクエリが実行されるまでの時間を検証してみた。環境セットアップ手順は以下参照。 Amazon Redshift に重いクエリを同時多重実行しながら性能情報を見る - abl…

2025-10-11

AWS認定 Data Engineer - Associate 勉強メモ

AWS Lake Formation の FindMatches 変換 Glueの「FindMatches 変換」機能を使ってデータセット内の「一致するレコードの重複排除」、「検索」をする | DevelopersIO AWS Lake Formation FindMatches によるレコードのマッチング - AWS Glue Amazon Redshift…

2025-10-11

AWS認定 Machine Learning Engineer - Associate (MLA-C01）勉強メモ

参考 AWS Certified Machine Learning Engineer - Associate 認定 | AWS 認定 | AWS 【合格体験記】AWS Certified Machine Learning Engineer - Associate（MLA-C01） #機械学習 - Qiita developersIO

2025-10-09

Redshift のシステムビューの定義を確認する

AWS Redshift

Redshift のシステムビューの定義を確認する。 # show view svv_table_info; ↓整形済み SELECT btrim(((stvp.datname) :: character varying) :: text) AS "database", btrim( ( (nvl2(mvi.mv_id, mvi.mv_schema, pgn.nspname)) :: character varying ) :: t…

2025-10-06

Amazon Redshift でロックを保持しているクエリを調査する

AWS

問題となるクエリを検出する特定のテーブルでロックの問題が頻繁に発生する場合は、SYS_QUERY_HISTORY を参照し、問題の原因となっているクエリを確認してください。 SELECT * FROM SYS_QUERY_HISTORY WHERE transaction_id = transaction ID; Amazon Redsh…