ablog

不器用で落着きのない技術者のメモ

git の検索結果:

GitHub の MarkDown の記法

https://docs.github.com/ja/get-started/writing-on-github/getting-started-with-writing-and-formatting-on-github/basic-writing-and-formatting-syntax

こんな Wiki がほしい

FreeStyleWiki のようなデザイン MarkDown で記述できる(MarkDownにこだわりはない) git でリビジョン管理できる 静的 HTML を生成できる 画像を表示できる

Redshift で中間結果をディスクに書き出しているクエリを調べる

AWS

…eadd('hour', -24, sysdate) and m.segment = -1 and m.step_type = -1 and m.blocks_to_disk > 0 group by 1, 2 order by 1, 2; aws-misc/redshift.md at trunk · kdgregory/aws-misc · GitHub 20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理

Redshiftでクエリの中間結果が書き出された箇所を調べる

AWS

…08-21 06:21:57.342827 | 52 | 0 | 0 | return | f | 0 | f | f | 0 (100 rows) 参考 amazon-redshift-utils/running_queues.sql at master · awslabs/amazon-redshift-utils · GitHub SVL_QUERY_REPORT - Amazon Redshift STL_QUERY_METRICS - Amazon Redshift

Redshift でセッションレベルで変更可能なパラメータ

AWS

…a_float_digits to 2; クラスターのパラメータグループ設定を変更します。パラメータグループ設定には、設定可能な追加のパラメータが含まれています。詳細については、Amazon Redshift クラスター管理ガイドの Amazon Redshift パラメータグループを参照してください。 ALTER USER コマンドを使用して、指定したユーザーによって実行されるすべてのセッションに対して、設定パラメータを新しいデフォルト値に設定します。 ALTER USER…

Redshift クラスターに awslabs - amazon-redshift-utils の AdminViews を作成する

AWS

… を作成する。 % git clone https://github.com/awslabs/amazon-redshift-utils.git % cd amazon-redshift-utils/src/AdminViews % ls -1 *.sql > run_all.sql % perl -i -pe 's/^/\\i /g' run_all.sql % psql "host=redshift-cluster-poc.********.ap-northeast-1.…

Github に push すると "Support for password authentication was removed on August 13, 2021. Please use a personal access token instead." と怒られる

Github に push すると "Support for password authentication was removed on August 13, 2021. Please use a personal access token instead." と怒られる。 事象 % git push origin master Username for 'https://github.com': yoheia Password for 'https://yoheia@gi…

Amazon Managed Grafana で Redshift のクエリをモニタリングする

AWS

…r]を選択し、フォルダを作成する。 [+]-[Import] を選択し、以下の JSON を1ファイルずつインポートする。 yoheia/aws/redshift/grafana_redshift_query_monitoring at master · yoheia/yoheia · GitHub grafana_redshift_query_monitoring_main.json grafana_redshift_query_monitoring_detail.json

git rm で fatal: pathspec did not match any files と怒られる

git

事象 git rm でファイルを削除しようとすると、"fatal: pathspec 'ファイルパス' did not match any files" と怒られる。 % git rm ./.DS_Store fatal: pathspec './.DS_Store' did not match any files 原因 Gitに登録していないファイルのため。普通にファイルを削除すればよい。 % rm .DS_Store そもそも、.DS_Store など git に登録した…

GitHub から clone しようとすると、"Permission denied (publickey). fatal: Could not read from remote repository." と怒られる

事象 GitHub から clone しようとすると、"Permission denied (publickey). fatal: Could not read from remote repository." と怒られる。 % git clone git@github.com:yoheia/redshift_concurrent_query_executer.git Cloning into 'redshift_concurrent_query_executer'... g…

Redshift でクエリを同時多重実行検証をするスクリプト

…のダウンロード $ git clone git@github.com:yoheia/redshift_query_executer.git $ git clone git@github.com:yoheia/redshift_concurrent_query_executer.git $ git clone git@github.com:yoheia/redshift_poc_scenario_scripts.git ~/.pgpass のを設定する $ vi ~/.pgpa…

psql on EC2 で Redshift のクエリの結果セットが大きい場合のボトルネックを調べる

AWS

…y install git gcc-c++ libpcap-devel.x86_64 libpcap.x86_64 ncurses* sudo yum -y install htop dstat perf git clone https://github.com/raboof/nethogs cd nethogs make sudo make install 関連 Amazon Linux 2 で iperf でネットワークスループットを計測する - ablog 参考 sea…

Amazon Redshift の VACUUM について

AWS

実行権限 テーブルの所有者またはスーパーユーザーのみがテーブルにバキューム処理を実行できる。 以下に、VACUUM に必要な権限を示します。 スーパーユーザー VACUUM の権限を持つユーザー テーブルの所有者 テーブルの共有先であるデータベース所有者 VACUUM - Amazon Redshift モード FULL(デフォルト): ソート+削除。 SORT ONLY: ソートのみ。 DELETE ONLY: 削除のみ。 REINDEX: Interleaved Sort…

MacBook Pro M1 で AWS Schema Conversion Tools を使用する

…su/ns-usbloader · GitHub 環境 MacBook Pro (14インチ、2021) Apple M1 Pro macOS Monterrey 参考 これからのJDK 何を選ぶ?どう選ぶ? (v1.2) in 熊本 Java 8 (OpenJDK: Zulu Community) を Homebrew で macOS にインストールする - Qiita MacにJava開発環境をインストールする - Qiita OS X のディレクトリ構成 - Qiita

macOS Monterey セットアップメモ

…tps://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" % echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/azekyohe/.zprofile % eval "$(/opt/homebrew/bin/brew shellenv)" % brew help OpenJDK 11 % sudo ln -sfn /opt/homebr…

psql で select 結果を変数にセットして、その後の select のフィルタ条件に変数を埋め込む

…/yoheia · GitHub -- query id select pg_last_query_id(); \gset -- execution time select userid, trim(database) "database", trim(label) as label, query, xid, pid, datediff(milliseconds, starttime, endtime) as "exec_time(ms)", starttime, endti…

bash の変数展開を使って FQDN のホスト名の部分だけ取得する

…hift.amazonaws.com} INSTANCE_IDENTIFIER=${PG_HOST%%.*} echo ${INSTANCE_IDENTIFIER} 実行結果 $ bash test.sh redshift-cluster-2 関連 yoheia/redshift_measuring_query_exec_time.sh at master · yoheia/yoheia · GitHub 参考 bashの変数展開によるファイル名や拡張子の取得 - Qiita

Amazon Redshift でクエリの単体性能を計測するスクリプト

AWS

yoheia/aws/redshift/redshift_measuring_query_exec_time at master · yoheia/yoheia · GitHub

PostgreSQL のシーケンスのキャッシュサイズによる tps を比較

PostgreSQL のシーケンスのキャッシュサイズによる tps を比較してみた。pgbench で同時多重(500)でシーケンスにアクセスし、キャッシュサイズが 1 だと 9,601、20 だと 12,714 とキャッシュサイズが大きいほうがスループットは高い。とりあえず流してみた程度で厳密な検証ではない。 # キャッシュサイズ tps 1 1 9,601 2 20 12,714 RDS Performance Insights RDS CloudWatch メトリクス …

CloudFormation で ElastiCache(Redis) をクラスターモード有効で作成する

AWS

… EngineVersion: 5.0.4 NumNodeGroups: 1 Port: 6379 ReplicasPerNodeGroup: 1 ★ ReplicationGroupDescription: Sample Redis group for scaling aws-elasticache-cluster-mode/template.yaml at master · aws-samples/aws-elasticache-cluster-mode · GitHub

postgresql.conf で設定可能なパラメータ一覧を確認する方法

…ostgres · GitHub pg_settings ビューで確認する $ psql "host=aurora-postgres124.cluster-********.ap-northeast-1.rds.amazonaws.com user=awsuser dbname=postgres port=5432" psql (13.4, server 12.4) SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AE…

GitHub でコミットハッシュからコミットを探す

AWS

https://github.com/{owner}/{project}/commit/{hash} の {hash} にコミットハッシュを指定すればよい。例えば、 antirez in commit 2810de9f: Cluster: abort loading nodes data if vars arguments are unbalanced. 1 file changed, 1 insertion(+) https://raw.githubusercontent.…

Amazon Linux 2 に rbenv をインストールする

…nstall -y git gcc openssl-devel zlib-devel rbenv をダウンロードする git clone https://github.com/sstephenson/rbenv.git ~/.rbenv git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build PATH を設定する echo 'export PATH="$HOME/.…

Redis の Ruby Client

AWS

…b ソースコード: GitHub - redis/redis-rb: A Ruby client library for Redis ElastiCache(Redis) クラスターの configuration エンドポイントに対応している。 そして、以下試した所いけた!嬉しかった! Redis.New(cluster: ["rediss://<configuration endpoint>:6379"]) ruby で ElastiCache Redis (クラスターモー…

AWS CLI 1.4.4 で S3 の VPC エンドポイント(Interface型)を使って S3 にアップロードできる

AWS

AWS CLI 1.4.4 で S3 の VPC エンドポイント(Interface型)を使って S3 にアップロードできることを確認したメモ。 EC2 インスタンスを準備する EC2インスタンス(CentOS7)を Public Subnet に作成する $ cat /etc/system-release CentOS Linux release 7.7.1908 (Core) $ uname -r 3.10.0-1062.12.1.el7.x86_64 AWS CLI 1…

macOS のターミナルで日本語入力できるようにする

ターミナル>環境設定>設定>詳細>Control + V で非ASCII入力をエスケープ のチェックをはずす ターミナル>環境設定>設定>詳細>テキストエンコーディング を Unicode (UTF-8) にする 環境変数の設定 export LC_ALL=ja_JP.UTF-8 export LANG=ja_JP.UTF-8 ~/.inputrc に、以下の設定をする set input-meta on set output-meta on set convert-meta…

AWS CLI と botocore のバージョンの対応を調べる方法

AWS

https://github.com/aws/aws-cli/releases で確認したい AWL CLI のバージョンの commit ハッシュ(短縮版)をクリックする。 setup.py の botocore のバージョンを確認する install_requires = [ - 'botocore==1.21.21', + 'botocore==1.21.22', ★ + が付いているのが変更後の内容、1.21.22 が利用している botocore のバージョン 参考…

インターネット接続のない Amazon Linux 2 に PostgreSQL 13 をインストールするために必要な rpm 一覧

AWS

…tps://raw.githubusercontent.com/sclorg/centos-release-scl/master/centos-release-scl/RPM-GPG-KEY-CentOS-SIG-SCLo $ sudo yum install -y postgresql13-devel 確認 $ cd /var/cache/yum/x86_64/2 $ find . -name '*.rpm' ./amzn2-core/packages/libxslt-1.…

Amazon Linux 2 に PostgreSQL 13 をインストールする

AWS

…tps://raw.githubusercontent.com/sclorg/centos-release-scl/master/centos-release-scl/RPM-GPG-KEY-CentOS-SIG-SCLo $ sudo yum install -y postgresql13-devel pgbench のパスは以下の通り。 $ sudo find / -type f -regextype posix-basic -regex ".*\(psql\|pgben…

Amazon Linux 2 から ElastiCache(Redis) に接続する

AWS

…che-redis-iam-rbac · GitHub redis-cliの使い方 - Qiita redis-cli man page - redis - General Commands | ManKier Home · brianfrankcooper/YCSB Wiki · GitHub Redis - Laravel - The PHP Framework For Web Artisans コマンドリファレンス — redis 2.0.3 documentation