ablog

不器用で落着きのない技術者のメモ

2020-09-01から1ヶ月間の記事一覧

EC2 インスタンス作成時に "You are not authorized to perform this operation" と怒られる

AWS

事象 IAMポリシー"PowerUserAccess"、"ReadOnlyAccess" をアタッチした IAM ロールで EC2 インスタンスを作成しようとすると以下のエラーが発生する。 You are not authorized to perform this operation. Encoded authorization failure message: qnWr7pg2b…

NLB のアクセスログ出力先に既存 S3 バケットを指定すると "Access Denied for bucket: ... Please " と怒られる

AWS

事象 NLB のアクセスログ出力先に既存の S3 バケットを指定すると以下のエラーが発生する。 Access Denied for bucket: <S3バケット名>. Please check S3bucket permission nlb 原因 サービスアカウントからS3バケットへの書込み権限がないため。 解決策 S3 のバケットポリ</s3バケット名>…

NLB->Pgpool-II で Auto Scaling してみる

AWS

負荷をかける # ap-northeast-1a $ nohup pgbench -Sn -c 40 -j 40 -t 1000000 -U awsuser -h pgpool-nlb-******.elb.ap-northeast-1.amazonaws.com -d writer -p 9999 > /dev/null 2>&1 & # ap-northeast-1c $ nohup pgbench -Sn -c 40 -j 40 -t 1000000 -U…

Pgpool-II で参照クエリを全て Reader に振る

AWS

Pgpool-II で backend_hostname0 に Writer、backend_hostname1 に Reader を指定、load_balance_mode = on にして backend_weight0 = 0、backend_weight1 = 1 にすることで、参照クエリを全て Reader に振ることができる。また、/*NO LOAD BALANCE*/ ヒント…

PostgreSQL で pg_dump / pg_restore

pg_dump でエクスポート $ pg_dump -h aurora-postgres117.cluster-******.ap-northeast-1.rds.amazonaws.com -U awsuser -b -Fc mydb > mydb.custom pg_resote でインポート $ pg_restore -h aurora-postgresql117-dc.cluster-******.ap-northeast-1.rds.am…

Amazon Linux 2 に PostgreSQL 11 をインストールする

Yum リポジトリをインストール $ sudo rpm -ivh --nodeps https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm pgdg-redhat-all.repo の $releasever を 7 に置換 $ cd /etc/yum.repos.d $ sudo per…

RI UtilizationとRI Coverageの違い

AWS

https://d1.awsstatic.com/webinars/jp/pdf/services/20200129_BlackBelt_CostExplorer.pdf P.32

AWS Budgets についてのメモ

AWS

blog.serverworks.co.jp AWS Budgets では、サービスの使用量、サービスコスト、インスタンスの予約を計画できます。また、予算を使用して、以下の情報を確認できます。 お客様のプランが予算額または無料利用枠の制限にどれだけ近いか 最新の使用状況 (リザ…

ルートテーブル変更に必要な IAM 権限

AWS

Pgpool-II on EC2 でルートテーブルの書換えでフェイルオーバーする際に必要な IAM 権限は ec2:CreateRoute と ec2:ReplaceRoute。 https://www.sraoss.co.jp/event_seminar/2017/jpug_20171103_pgpool_aws.pdf IAMポリシーサンプル IAM権限 ec2:CreateRoute…

Pgpool で PCP コマンドを使えるようにする

設定 PCP のパスワード設定 # echo 'pgpool:'`pg_md5 pgpool` >> /etc/pgpool-II/pcp.conf # echo 'localhost:9898:pgpool:pgpool' > ~/.pcppass # root ユーザー用 # chmod 600 ~/.pcppass $ echo 'localhost:9898:pgpool:pgpool' > ~/.pcppass # 一般ユー…

pgbench で参照ワークロードを実行する

$ pgbench -Sn -c 4 -j 4 -t 1000 -U awsuser -h localhost -d mydb -p 9999 参考 1.4. 負荷分散を試してみる Pgpool-IIでは、参照クエリの負荷分散が可能です。 デフォルトでこの機能は有効です。 その効果を確かめるために、pgbench -Sコマンドを使ってみ…

Pgpool-II のソースコードをダウンロードする

$ git clone https://github.com/pgpool/pgpool2.git 参考 github.com

AWS CLI で Amazon RDS でデフォルトから変更したパラメータだけを表示する

AWS

AWS CLI で Amazon RDS でデフォルトから変更したパラメータだけを表示する。 DB クラスターパラメータグループ $ aws rds describe-db-cluster-parameters --db-cluster-parameter-group-name aurora-mysql57-cluster-custom|jq -r '.Parameters[]|select(.…

NLB の名前解決について

AWS

クロスゾーン負荷分散無効で、NLB でラウンドロビンで名前解決される様を確認したメモ。 $ for i in {1..100}; do dig +short pgpool-II-nlb-******.elb.ap-northeast-1.amazonaws.com|head -1; done|sort|uniq -c 50 172.**.*.120 50 172.**.*.79

PostgreSQL で接続先 DB サーバの IP アドレスを確認する

PostgreSQL でサーバのIPアドレスを確認する select inet_server_addr(); 参考 https://www.postgresql.jp/document/8.0/html/functions-info.html

インターネット接続のない Amazon Linux 2 に Pgpool-II をインストールする

AWS

インターネット接続可能な Amazon Linux 2 で Pgpool-II と依存パッケージをダウンロード /etc/yum.conf で keepcache=1 に設定 $ sudo vi /etc/yum.conf keepcache=1 Pgpool-II をインストール & ダウンロード $ sudo yum install -y https://www.pgpool.ne…

Yum でパッケージをアンインストールする

書式 $ sudo yum remove パッケージ1 パッケージ2 例 $ sudo yum -y remove pgpool-II-release-4.1-1.noarch 参考 【yum remove】yumで安全にアンインストールする方法 | UX MILK

Amazon Linux 2 に yum で Pgpool-II をインストールしようとすると "rhel-2-x86_64/repodata/repomd.xml: [Errno 14] HTTPS Error 404 - Not Found" と怒られる

AWS

事象 Amazon Linux 2 に yum で Pgpool-II をインストールしようとすると "rhel-2-x86_64/repodata/repomd.xml: [Errno 14] HTTPS Error 404 - Not Found" と怒られる。 $ sudo yum install -y https://www.pgpool.net/yum/rpms/4.1/redhat/rhel-7-x86_64/pg…

Web/AP ->NLB -> Pgpool-II on EC2 -> Aurora PostgreSQL 構成メモ

AWS

Pgpool-II EC2 インスタンス psql をインストール $ sudo yum -y install gcc $ sudo yum install -y postgresql postgresql-server postgresql-devel postgresql-contrib postgresql-docs Aurora に接続してみる $ psql "host=aurora-postgres117.cluster-*…

NiziU プロデューサー J.Y.Park 氏のリーダーシップ・マネジメント手法

@shiumachi さんがツイートされてた Nizi Project のプロデューサー J.Y.Park 氏の「言葉」から読み取れるマネジメント手法の特徴の解説記事が参考になるので、備忘録としてメモ。よく知らないけど、スッキリで見たJ.Y.Park 氏がイメージしてるプロデューサ…

同じ Organization のメンバーアカウントからのアクセスを許可する S3 バケットポリシー

AWS

Organization の全てのメンバーアカウントや特定の OU からのみのアクセスを許可する S3 バケットポリシー。 S3 バケットポリシー例 同じ Organization のメンバーアカウントからのアクセスを許可する { "Version": "2012-10-17", "Statement": [ { "Sid": "…

別の AWS アカウントからスイッチロールして参照専用で使う IAM ロールの作成手順

AWS

他のAWSアカウントからスイッチロールするための参照専用IAMロールを作成する手順。 マネジメントコンソールから[IAM]-[ロール]-[ロールの作成]を選択。 [別のAWSアカウント]を選択、スイッチロール元アカウントIDを1つ入力。 スイッチロール元アカウントで …

Amazon Linux 2 で Java Mixed-Mode Flame Graphs を使う手順

Amazon Linux 2 でサクッと Java Mixed-Mode Flame Graph でプロファイリングして可視化する手順。以下は生成した Flame Graph。 Java Mixed-Mode Flame Graphs について詳しくは Java Mixed-Mode Flame Graphs で Java の CPU ネックをフルスタックで分析す…

cmake 時に "CMAKE_CXX_COMPILER-NOTFOUND" was not found と怒られる

事象 perf-map-agent を cmake しようとすると、"CMake Error: your CXX compiler: "CMAKE_CXX_COMPILER-NOTFOUND" was not found. Please set CMAKE_CXX_COMPILER to a valid compiler path or name." というエラーになる。 $ sudo yum -y install java-1.8…