ablog

不器用で落着きのない技術者のメモ

2021-11-01から1ヶ月間の記事一覧

ハイフンを含む文字列を grep する

ハイフンを含む文字列を grep しようとすると "invalid option" と怒られた。オプションに "--" を指定するといける。 $ grep -A 4 -- '-- query id:' query_perf.log 参考 逆引きUNIXコマンド/grepでハイフン付のキーワードを検索する方法 - Linuxと過ごす

最近の生活習慣

生活リズム 6:00起床、22:00就寝 飲み物 飲み物は水(お茶ではなく) コーヒー(起床90分経つまでは飲まない、1日3杯まで) お湯(寝る前) 食事 1日2食(10:00〜18:00以外の時間帯は食べない) 昼:無塩ミックスナッツ(20-30g)、ゆで卵、サラダ 夜:焼き…

SOSP21 で best paper 賞を受賞した S3 の論文を読んでみる

AWS

SOSP21 で best paper 賞を受賞した S3 の論文 "Using Lightweight Formal Methods to Validate a Key-Value Storage Node in Amazon S3" を読んでみる。 Abstract This paper reports our experience applying lightweight formal methods to validate the …

psql で select 結果を変数にセットして、その後の select のフィルタ条件に変数を埋め込む

psql から Amazon Redshift でクエリ実行後に pg_last_query_id() で直前のクエリIDを取得して、stl_query や svl_query_summary からクエリIDでフィルタして性能情報を取得したかったんだけど、psql だとクエリ実行後に \gset を実行するとカラム名が変数名…

Teradata の Query Grid とは

Teradata QueryGridの説明 Teradata QueryGrid™ 2.xは、1つ以上のデータ ソースにわたって、シームレスで高性能なデータ アクセス、処理、および移動を提供するデータ分析ファブリックです。Teradata QueryGridは、次のコネクタをサポートします。 Teradata …

AWS DMS タスク停止時に PostgreSQL の WAL が溜り続けないようにする

AWS

AWS DMS のソースが PostgreSQL で CDC を使う場合、DMS タスクを停止すると、PostgreSQL の WAL が溜まってストレージ使用量が増える。 レプリケーションスロットを削除すると、WAL が削除されるようになる。 SELECT * FROM pg_replication_slots; SELECT p…

bash の変数展開を使って FQDN のホスト名の部分だけ取得する

bash の変数展開を使って、FQDN のホスト名(最初のドットより前)の部分だけ取得してみたメモ test.sh #!/usr/bin/bash PG_HOST=${PG_HOST:-redshift-cluster-2.foobar.ap-northeast-1.redshift.amazonaws.com} INSTANCE_IDENTIFIER=${PG_HOST%%.*} echo ${…

Teradata の BYNET とは

What is the BYNET?The BYNET is the system interconnect that allows the various components of the Vantage database to communicate. This is important because Vantage is composed of many self-contained virtual processors with no inherent conn…

Teradata の AMP とは

アクセスモジュールプロセッサ(AMP)-仮想プロセッサ(vproc)と呼ばれるAMPは、実際にデータを保存および取得するものです。 AMPは、Parsing Engineからデータと実行計画を受け取り、データ型の変換、集約、フィルター、並べ替えを実行し、それらに関連付…

Teradata の AWT とは

AWTs are the smallest unit of work in Teradata. These are the tasks or execution threads inside of each AMP that get the database work done, such as executing a query step once the step is dispatched to the AMP. Each AMP has up to 80 AMP w…

Teradata のスロットルについて

スロットル スロットルはTeradata Asterシステムで一度に実行されるクエリー数を制限します。スロットルを作成するときに述語を指定します。述語には有効なSQL WHERE句を指定する必要があります。既存のUDF、SQL演算子、ワークロードの管理属性、およびANDや…

Teradata のプロファイルについて

プロファイルについて プロファイルを作成すると、同じようなニーズを持つユーザーのグループに対してリソース パラメータを定義することができ、ユーザーごとに個別にリソース パラメータを定義せずに済みます。次に、CREATE USER文またはMODIFY USER文にプ…

AWS DMS のチューニング

AWS

AWS DMS タスクでターゲットレイテンシーが高い場合のトラブルシューティング Best practices for AWS Database Migration Service - AWS Database Migration Service Debugging Your AWS DMS Migrations: What to Do When Things Go Wrong? (Part 3) | AWS …