ablog

不器用で落着きのない技術者のメモ

2020-12-01から1ヶ月間の記事一覧

PostgreSQL メモ

テーブルのオブジェクトIDを調べる postgres=> SELECT 'public.pgbench_accounts'::regclass::oid; oid ------- 16566

S3 から Aurora MySQL へ LOAD したメモ

AWS

インストール mysql Aurora MySQLとS3間でデータをロード&アンロードする - ablog sysbench Amazon Linux 2 に sysbench をインストールしようとすると、libmysqlclient_r.so.16 とlibmysqlclient_r.so.16 が必要と怒られる - ablog 準備 データを生成する $…

DMS CDC のソースとして PostgreSQL のリードレプリカは利用できない

AWS

You can use an Amazon RDS for PostgreSQL DB instance or Read Replica as a source for AWS DMS. You can use a DB instance for both full-load tasks and for change data capture (CDC) for ongoing replication. You can use a Read Replica only for…

VACUUM FULL 実行中のロックのとりかた

Aurora PostgreSQL で VACUUM FULL 実行中のロックのとりかたを確認したメモ。 Writer で VACUUM FULL 実行 postgres=> vacuum full pgbench_accounts; Writer で VACUUM FULL 実行中のテーブルを参照 postgres=> select count(*) from pgbench_accounts; # …

RDS PostgreSQL から Aurora PostgreSQL に論理レプリケーションする

RDS PostgreSQL から Aurora PostgreSQL に論理レプリケーションでレプリケーションしたメモ。 手順 設定 RDS PostgreSQL のパラメータグループで rds.logical_replication=1 に設定して、再起動する。 rds.logical_replication=1(on) に設定されているこ…

iperf でパケットサイズを指定する

iperf でパケットサイズを変更する。-l オプションで指定できる。 $ iperf3 -c 172.**.**.36 -P 48 -t 1800 -i 60 -l 1 CloudWatch メトリクス クラアント サーバ OS性能メトリクス sar で PPS を確認。 rxpck/s: 受信パケット数/秒 txpck/s: 送信パケット数…

性能試験で見るべきポイント

スループットの計測などで想定通りのスループットが出ない場合の確認ポイント。 USEメソッドや時間ベース分析で科学的にボトルネックを特定する。 エラーが発生した場合はログから原因を特定する(どのコンポーネントでのエラーが根本原因か特定する)。 ス…

yum を実行すると "Error: rpmdb open failed" と怒られる

yum install を kill してから再実行しようとしたら、"Error: rpmdb open failed" と怒られた。以下の対応で解決した。 rpmdbが壊れる原因 CentOSでYumコマンドを実行したときに、下記のエラーで yum コマンドが失敗しました。 yum がバックグラウンドでロッ…

PostgreSQL ログにクエリログを出力し、CSV ログは出力しない設定

log_destination=stderr に設定すると CSV ログは出力されない。 設定例 DBパラメータグループで以下を設定 log_destination=stderr # postgresql.log に出力するが、csv には出力しない log_statement=all # DDL、DML など全てを記録 log_min_duration_stat…

一定間隔で pg_stat_statements を tsv に出力

一定間隔で pg_stat_statements を取得して tsv に出力する。 PostgreSQL に接続する。 $ export LANG=C $ psql "host=aurora-postgres117.cluster-******.ap-northeast-1.rds.amazonaws.com dbname=mydb port=5432 user=awsuser" 10 秒間隔で pg_stat_state…

psql で PostgreSQL にクエリを定期実行する

書式 クエリ \watch 秒数 例 select b.usename, trunc(a.total_time) "total_time(s)", a.calls, trunc(cast(a.total_time as numeric) / a.calls, 6) "avg_time(s)", a.query from pg_stat_statements a join pg_user b on a.userid = b.usesysid where b.u…

psql で PostgreSQL にクエリを定期実行する

書式 クエリ \watch 秒数 例 select b.usename, trunc(a.total_time) "total_time(s)", a.calls, trunc(cast(a.total_time as numeric) / a.calls, 6) "avg_time(s)", a.query from pg_stat_statements a join pg_user b on a.userid = b.usesysid where b.u…

PostgreSQL の性能分析ツール

qiita.com pgstatsinfo.sourceforge.net

Postgresのdouble precision型を四捨五入したい

メモ qiita.com

PostgreSQL で nextval() のスループットを検証する

準備 PostgreSQL に接続する。 $ psql "host=aurora-postgres117.cluster-******.ap-northeast-1.rds.amazonaws.com dbname=writer port=5432 user=awsuser" シーケンスを作成する。 create sequence seqtest1 start with 1 increment by 1 cache 1; create …

後で読む「マネージメントに必要なことは全てゲームから学んだ」

自分が今まで読んだことのあるチームマネジメントの記事の中で最も価値のある記事。これはチームマネジメントに関わる人は読むべき https://t.co/hPTtrlOBbw— Sho Shimauchi (@shiumachi) November 30, 2020