事象 git rm でファイルを削除しようとすると、"fatal: pathspec 'ファイルパス' did not match any files" と怒られる。 % git rm ./.DS_Store fatal: pathspec './.DS_Store' did not match any files 原因 Gitに登録していないファイルのため。普通にファ…

事象 GitHub から clone しようとすると、"Permission denied (publickey). fatal: Could not read from remote repository." と怒られる。 % git clone git@github.com:yoheia/redshift_concurrent_query_executer.git Cloning into 'redshift_concurrent_q…

事象 ユーザーにテーブルに対する権限を付与しているのに "permission denied for schema ..." と怒られる。 こんな感じでアクセス権を付与しているが、 % psql "host=redshift-cluster-poc.********.ap-northeast-1.redshift.amazonaws.com user=awsuser db…

ベンチマーク用オプション -t: 指定した回数トランザクションを実行する （回数を指定） -T: 指定した秒数トランザクションを実行する（期間を指定） -c: データベースセッション数 -j: ワーカースレッド数 -f : 実行するSQLスクリプトファイル名 -r: コマン…

よく使う psql のオプション -f: SQLスクリプトファイルを指定して実行する -a: 実行した SQL も出力する 実行例 psql "host=redshift-cluster-poc.********.ap-northeast-1.redshift.amazonaws.com user=awsuser dbname=dev port=5439" -a -f sample.sql 参…

% brew install postgres 参考 Postgres on Mac with Brew 💻. Brewing PostgreSQL on OS X | by Gopi Krishna Kancharla | Think Special — Gopi K Kancharla | Medium | Think Special — Gopi K Kancharla

TL;DR Redshift クラスターのサイジングや Concurrency Scaling の検証などで、クエリを同時実行し、クエリ単体のレスポンス要件と複数クエリのスループット要件の両方を満たしているかを検証したりする bash スクリプト。bash スクリプトから pgbench を読…

クラスター全体での実行中とキュー待ちのクエリ数 マネジメントコンソールで[Redshift]-[クラスターを選択]-[クエリのモニタリング]-[ワークロードの同時実行] オレンジ色：実行中のクエリ数 青色：ワークロードキュー待ちのクエリ数 「キューに入れられたク…

サマリー EC2インスタンス（t2.micro）から psql で Redshift に結果セットが100GB以上と大きい select 文を発行すると、CloudWatch メトリクスでネットワーク受信量 (バイト数)が約500MB/分になる。 m5.large では約3.2GB/分のスループットが出た。 t2.micr…

Redshift の superuser のパスワードはマネコンまたは AWS CLI から変更できる Amazon Redshift コンソールを使用して superuser アカウントのパスワードをリセットする Amazon Redshift コンソールを使用してsuperuser (または adminuser) のパスワードを変…

psql で Redshift から定期的に S3 に UNLOAD したメモ。 Redshift に接続する。 export LC_ALL=C /usr/pgsql-13/bin/psql "host=redshift-cluster-2.********.ap-northeast-1.redshift.amazonaws.com port=5439 dbname=dev user=awsuser" 10秒間隔で tv_que…

macOS(12.3.1) で find で正規表現にマッチするファイルを移動したメモ find -E . -type f -regex ".*(foo|bar|hoge).*" -exec mv {} ./old/ \;

実行権限 テーブルの所有者またはスーパーユーザーのみがテーブルにバキューム処理を実行できる。 以下に、VACUUM に必要な権限を示します。 スーパーユーザー VACUUM の権限を持つユーザー テーブルの所有者 テーブルの共有先であるデータベース所有者 VACU…