ablog

不器用で落着きのない技術者のメモ

2026-01-01から1年間の記事一覧

Oracle Database のシステム統計の Physical Writes の意味

Physical Writes (per second) Description This metric represents the number of disk writes per second during the sample period. This statistic represents the rate of database blocks written from the SGA buffer cached to disk by the DBWR bac…

Aurora PostgreSQL Serveless v2 は DMS のソースとしてサポートしている(Full Load & CDC)

AWS

DMS は Amazon Aurora PostgreSQL—Serverless V1 についてはフルロードのソースとしてのみサポートしています。ただし、Amazon Aurora PostgreSQL—Serverless V2 は、フルロード、フルロード + CDC、CDC のみのタスクのソースとして使用することができます。…

Redshift-managed VPC Endpoint の冗長化構成

AWS

前提 2026/3/3 時点(検証結果より) Redshift-managed VPC Endpoint は Cluster subnet group に含まれる subnet からランダムに 1 つの subnet に作成される。 作成する subnet を指定することはできない。 AZ 障害が発生した場合、障害が発生していない A…

Redshift-managed VPC Endpoint が使用されているか VPC フローログで確認する

設定手順 マネジメントコンソールで [Redshift]-[設定]-[Redshift マネージド VPC エンドポイント] でエンドポイント名を選択 [ネットワークインターフェイス ID] を確認 マネジメントコンソールで [EC2]-[ネットワークインターフェイス] で ネットワークイ…

Redshift でイベント発生時にメール通知する方法

Redshift でイベント発生時にメール通知する方法(Redshift イベントサブスクリプション-> SNS トピック(サブスクリプションフィルタポリシーで絞込み) -> メール通知) Redshift でイベントサブスクリプションを作成する マネジメントコンソールで [Redsh…

Amazon Linux 2023 に CPAN モジュールをインストールする

AWS

CPAN のインストール sudo dnf install -y perl-CPAN # AL2023の場合 ビルドツールとヘッダファイルのインストール sudo dnf groupinstall -y "Development Tools" # AL2023 cpanm のインストール cpan App::cpanminus 環境 $ cat /etc/system-release Amazo…

AWS DMS のモニタリング

AWS

DMS タスクのモニタリング AWS DMS タスクのモニタリング - AWS データベース移行サービス AWS Database Migration Serviceでの Amazon SNS イベントと通知の使用 - AWS データベース移行サービス

AWS DMS から ソースの Oracle Database に SSL 暗号化通信するための設定

AWS

AWS DMS から ソースの Oracle Database に SSL 暗号化通信する場合、以下の設定が必要になる。 ソースの Oracle Database 証明書を作成して、Oracle ウォレットに追加する Oracle Net (listener.ora、sqlnet.ora)の設定変更 リスナーは再起動しなくても、リ…

AWS DMS がソースとしてサポートする Oracle Database のバージョン

Oracle バージョン 10.2 以降 (バージョン 10.x の場合)、11g 以降 12.2 までと 18c、19c (Enterprise、Standard、Standard One、Standard Two エディションの場合) のソース AWS DMS - AWS データベース移行サービス

Amazon Aurora の Amazon RDS 延長サポート

RDS 延長サポートは、特定のマイナーバージョンでのみ利用できます。マイナーバージョンは、メジャーバージョンがコミュニティのサポート終了日に達した後にのみ、RDS 延長サポートをサポートするものとして表示されます。詳細については、「Aurora MySQL リ…

DMS サーバレスの制限

AWS

AWS DMS サーバーレスの制限 - AWS データベース移行サービス> AWS DMS Serverless には以下の制限があります。 変更できるのは、CREATED、STOPPEDまたは FAILED状態の AWS DMS レプリケーション設定のみです。どの設定をどの条件下で変更できるかの詳細につ…

PostgreSQL の REINDEX

インデックスの再構築 REINDEX コマンドは、一貫したデータベースパフォーマンスを維持するのに役立ちます。テーブルに対して多数の DML 操作を実行すると、テーブルとインデックスの両方が肥大化します。インデックスを使用することでテーブルの検索が速く…

Aurora PostgreSQL の AUTOVACUUM

AUTOVACUUM Aurora PostgreSQL は、VACUUM および AUTOVACUUM ユーティリティを使用して不要なタプルを削除します。AUTOVACUUM と手動 VACUUM の基盤となるメカニズムは同じです。唯一の違いは自動化です。Aurora PostgreSQL および Aurora PostgreSQL Limit…

Aurora のバックアップについて

AWS

バックアップ (中略)Aurora の自動バックアップは連続的かつ増分的であるため、バックアップ保持期間内の任意の時点にすばやく復元できます。バックアップデータが書き込まれるときに、データベースサービスのパフォーマンスに影響が出たり、中断が発生し…

Redshift で Concurrency Scaling を使用する際の設定

パラメータ max_concurrency_scaling_cluster を 1 以上に設定する(再起動必要) https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/r_max_concurrency_scaling_clusters.html Concurrency Scaling 使用時間の上限を設定したい場合は使用制限で制限す…

VPC内Lambdaを作成しようとすると "The provided execution role does not have permissions to call CreateNetworkInterface on EC2" エラーが発生する

AWS

事象 VPC 内に Lambda 関数を作成しようとすると以下のエラーが発生する。 The provided execution role does not have permissions to call CreateNetworkInterface on EC2 原因 Lambda 関数作成時に関数にアタッチした実行ロールに ec2:CreateNetworkInter…

VPC内Lambdaに必要な IAM 権限と設定

ec2:CreateNetworkInterface ec2:DescribeNetworkInterfaces ec2:DeleteNetworkInterface logs:CreateLogGroup logs:CreateLogStream logs:PutLogEvents

Redshift の大文字小文字の区別について

データベース名/スキーマ名/テーブル名/列名 enable_case_sensitive_identifier パラメータ デフォルト値: false(大文字小文字を区別しない) データベース、スキーマ、テーブル、および列の名前識別子が大文字と小文字を区別するかどうかを決定する設定値…

Redshift のクエリの性能情報を取得する bash スクリプト

説明 Redshift のクエリの性能情報を取得する bash スクリプト 前提: bash と psql が使えること 使い方: Configuration の情報を設定する 実行方法 bash スクリプトに実行権限を付与する $ chmod u+x ./redshift_query_diag.sh <クエリID> 情報採取する $ .…

Redshift で多段でデータシェアリングした Late Binding View にアクセスすると "ERROR: Remote object depends on external shared object." が発生する

Redshift で多段でデータシェアリングした Late Binding View にアクセスすると "ERROR: Remote object depends on external shared object." が発生する 3クラスターでの多段データシェアリングした場合 "ERROR: Remote object depends on external shared …

Redshift で "ERROR: cross-database reference to xx found while analyzing an LBV on producer." が発生する。

Redshift でデータベースを跨いだ Late Binding View (LBV) へのアクセスで "ERROR: cross-database reference to xx found while analyzing an LBV on producer." が発生する。 事象 データベースを作成する $ psql -h redshift-cluster-poc-central.******…

Redshift クラスターがどの AZ にデプロイされているか確認する

マネジメントコンソールで Redshift クラスターの [プロパティ]-[ネットワークとセキュリティの設定]-[アベイラビリティーゾーン]で確認できる。

Redshift で disk spill したサイズを調べるクエリ

Redshift で disk spill したサイズを調べるクエリ(Serverless、Multi-AZ など、SYS 系のシステムテーブルしか参照できないケースで) select any_value(h.user_id) user_id, any_value(h.username) username, any_value(h.generic_query_hash) generic_que…

CloudWatch Alarm と SNS Topic 作成に必要な IAM ポリシー

AWS

CloudWatch Alarm と SNS Topic 作成に必要な IAM ポリシー。 { "Version": "2012-10-17", "Statement": [ { "Sid": "VisualEditor0", "Effect": "Allow", "Action": [ "cloudwatch:GetMetricData", "cloudwatch:ListMetrics", "cloudwatch:PutMetricAlarm",…

Microsoft Azure のサポートプランの解約手順

Azureポータルにサインインする。 検索バーに「ヘルプとサポート」で検索する。 左側のメニューから「サポート プラン」をクリックする。 無料の「Basic」プランを選択する。

登山装備

低山で雪山でない前提 モバイルバッテリー 水 着替え(下山後にお風呂入る場合) タオル ヘッドランプ 手袋 ミックスナッツ ソックス(長め) 登山靴(ミドルカット) 参考 モンベル | 登山装備ガイド 基本編 |

ドメイン駆動設計(DDD)とは

ドメイン駆動設計(Domain-Driven Design)とは まずは、DDDとは何か、から始めましょう。そもそも「ドメイン」とは、アプリケーションが対象とする業務領域のことです。本書では、ドメインを「知識、影響力、活動の一領域」と定義しています。業務アプリケ…

テスト駆動開発(TDD) とは

テスト駆動開発(TDD)とは テストファーストの インターフェースと実装を分けて考えられるので、利用者視点で設計ができる … 設計面での強み に以下を加えたもの リファクタリング … 保守性を上げるため プログラムの動作を保ったままソースコードを改善す…

Redshift でユーザー別の接続数を調べるクエリ

Redshift でユーザー別の接続数を調べるクエリ。分単位のユーザー別の接続数を集計する。 -- psql で実行する場合 \o user_connection_count.csv \pset format unaligned \pset fieldsep '|' \t off WITH RECURSIVE time_series(time_value) AS ( /* Recursi…

psql で Redshift のデータを CSV に出力する bash スクリプト

redshift_query_diag.sh #!/usr/bin/env bash export LC_ALL=C BASE_NAME=$(basename $0) SCRIPT_BASE_NAME=$(basename $0 .sh) CURRENT_DATE=`date '+%Y%m%d-%H%M%S'` BASE_DIR=$(cd $(dirname $0);pwd) cd $BASE_DIR CLUSTER_ENDPOINT="<Redshiftクラスタのエンドポイント>" # Redshift clust</redshiftクラスタのエンドポイント>…