ablog

不器用で落着きのない技術者のメモ

2021-08-01から1ヶ月間の記事一覧

ElastiCache(Redis) クラスターで手動フェイルオーバーを実行する

AWS

マネジメントコンソールでリストからクラスターを選択する リストからプライマリノードを選択し、[アクション]-[プライマリをフェイルオーバー]を選択する イベントで確認すると、フェイルオーバーに6分ほど要している 参考 ElastiCacheの手動フェイルオーバ…

Aurora PostgreSQL でインスタンスのクラッシュを発生させる

AWS

Aurora PostgreSQL で aurora_inject_crash() を使ってインスタンスをクラッシュさせてみたメモ。 障害挿入クエリ関数 aurora_inject_crash() を使用して、Aurora PostgreSQL インスタンスのクラッシュを強制的に発生させることができます。 この障害挿入ク…

Aurora PostgreSQL で Read Replica の Auto Scaling を設定する

AWS

Aurora PostgreSQL で Read Replica の Auto Scaling を設定したメモ。 設定 マネジメントコンソールで [RDS]-[データベース] でクラスターを選択する。 [ログとイベント]-[Auto Scaling ポリシー]-[追加] をクリックする。 Auto Scaling ポリシーの設定を入…

CloudFormation で ECS 作成時に " Please verify that the ECS service linked role exists." エラー

AWS

事象 CloudFormation で ECS クラスター作成時に以下のエラーが出る Unable to assume the service linked role. Please verify that the ECS service linked role exists. status code: 400, 原因 ECS Cluster 作成時に、自動的に AWSServiceRoleForECS ロ…

ELB のアクセスログ出力先の S3 バケットポリシー

AWS

Enable access logs for your Classic Load Balancer - Elastic Load Balancing

ElastiCache(Redis)のエンドポイント

AWS

クラスターモードが有効の場合は、ConfigurationEndpointを使う クラスターモードが無効の場合は、書き込みにはPrimaryEndpointを、読み込みにはReaderEndpointを使う 参考 Amazon ElastiCache for Redisのエンドポイントを確認してみる - Qiita

ElastiCache(Redis) のスケールアップ/アウト

AWS

スケールアップ/ダウン クラスターを選択して、[アクション]-[変更] から [ノードのタイプ] で変更する。 参考 単一ノードクラスターのスケーリングRedis (クラスターモードが無効) - Amazon ElastiCache for Redis オンライン垂直スケーリングを使用してAma…

Glacier のオブジェクトを復元して他の S3 パスにコピーする

AWS

確認結果 S3 のオブジェクトを別のパスで Glacier にコピーできる。 Glacier のオブジェクトを一発で他の S3 パスにコピーすることはできない。 同じパスでリストアしないと他のパスにコピーできない。 準備 S3 のスタンダードから Glaicier にコピーする $ …

AWS CLI の max_bandwidth で転送スループットを制限する

AWS

AWS CLI の max_bandwidth で転送スループットを制限してみたメモ。 AWS CLI v2 をインストールする $ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" $ unzip awscliv2.zip $ sudo ./aws/install $ aws --version aws…

VPCエンドポイントポリシーで aws s3 ls/cp に必要な Resouce 句の設定

AWS

VPCエンドポイントポリシーでVPC内からアクセス可能なバケットを制限する場合、ls するには バケットの指定が必要で、Put/Get をするには "/*" の指定が必要。 { "Version": "2008-10-17", "Statement": [ { "Effect": "Allow", "Principal": "*", "Action":…

Presto でタイムタンプを分でまるめる

Athena(Presto) で "2021-06-20 08:52:13.810" のようなタイムタンプを分にまるめる SELECT date_trunc('minute',cast(timestart as timestamp)) as log_time, count(*) as cnt FROM "default".system_log" 関連 Date and Time Functions and Operators — …

S3 アクセスポイント経由でのオブジェクトのリスト(aws s3 ls)が失敗する

AWS

事象 S3 アクセスポイント経由で aws s3 cp でアップロードは成功するが、aws s3 ls は "Access Denied" になる。 $ aws s3 ls s3://arn:aws:s3:ap-northeast-1:123456789012:accesspoint/s3ap-system1/upload/ --profile system1 An error occurred (Access…

CentOS7 に SSM Agent をインストールする

AWS

CentOS 7 に SSM Agent をインストールして、セッションマネージャーでログインしてみたメモ。 SSM Agent をインストールする ここではリージョンは ap-northeast-1 を指定している。 $ sudo yum install -y https://s3.ap-northeast-1.amazonaws.com/amazon…

AWS CLI 1.4.4 で S3 の VPC エンドポイント(Interface型)を使って S3 にアップロードできる

AWS

AWS CLI 1.4.4 で S3 の VPC エンドポイント(Interface型)を使って S3 にアップロードできることを確認したメモ。 EC2 インスタンスを準備する EC2インスタンス(CentOS7)を Public Subnet に作成する $ cat /etc/system-release CentOS Linux release 7.…

ダブルクオート引用符の CSV を Glue クローラでテーブル作成時に認識させる

AWS

Glue クローラでテーブル作成後にテーブルを編集する。 Serde シリアル化ライブラリを org.apache.hadoop.hive.serde2.OpenCSVSerde に変更 Serde パラメータから field.delim : , を削除 Serde パラメータに以下を追加 escapeChar : \ quoteChar : " separa…

Amazon Linux2 に Pukiwiki をたてたメモ

EC2インスタンスを作成する PHP PHP をインストールする $ sudo amazon-linux-extras install php7.2 $ sudo yum -y install php php-mbstring Apache Apache をインストールする $ sudo yum -y install httpd 起動する $ sudo systemctl enable httpd.servi…

EC2からアウトバウンドでインターネット接続できない場合のチェック項目

AWS

EC2 インスタンスのインターネットゲートウェイ接続の問題のトラブルシューティング

ALB で CloudFront 経由のアクセスのみ許可する

AWS

CloudFront の設定 CloudFront の Distribution の Origins の設定で、カスタムヘッダーを追加する (参考)カスタムヘッダーに指定する値は、適当に MD5 でハッシュ値を生成するなど $ echo -n 'teketo' | md5sum da8fcb0c1a65f768487736e127e0bcef - ALB …

Route 53 のエイリアス設定で CloudFront ディストリビューションが表示されない

AWS

事象 Route53 にレコード作成時に CloudFront のディストリビューションが表示されない。 原因 作成するリソースレコードの名前が CloudFront ディストリビューションの CNAME と一致していないため。CloudFront ディストリビューションの CNAME を設定して…

ALB のヘルスチェックが 403 になる

AWS

事象 ALB のヘルスチェックが unhealthy(Health checks failed with these codes: [403]) になる 原因 /var/log/httpd/access_log を確認すると、403 エラーになっている。単に、index.html がないからだった。 10.1.1.28 - - [22/Aug/2021:01:38:16 +0000] …

ElastiCache(Redis) の CloudWatch メトリクス

AWS

メモ CPUUtilization EngineCPUUtilization FreeableMemory SwapUsage CurrConnections NetorkOut/In NetworkPacketsOut/In *Cmds *Latency 参考 Redis のメトリクス - Amazon ElastiCache for Redis モニタリングすべきメトリクス - Amazon ElastiCache for…

macOS のターミナルで日本語入力できるようにする

ターミナル>環境設定>設定>詳細>Control + V で非ASCII入力をエスケープ のチェックをはずす ターミナル>環境設定>設定>詳細>テキストエンコーディング を Unicode (UTF-8) にする 環境変数の設定 export LC_ALL=ja_JP.UTF-8 export LANG=ja_JP.UTF-…

macOS に OpenJDK をインストールする

Archived OpenJDK GA Releases から任意のバージョンの OpenJDK をダウンロードする。 参考 【Mac】OpenJDKインストール方法 | それって独り言だよね?

RDS の

AWS

RDS のインスタンスクラス変更のキャンセルはマネコンからはできないが、AWS CLI からは可能。 $ aws rds modify-db-instance --db-instance-identifier aurora-postgres124-instance-1 --db-instance-class db.r5.large --apply-immediately 関連 RDSのイン…

S3 アクセスポイント対応した AWS CLI のバージョン

AWS

AWS CLI 1.18.117 以降であれば対応している。なお、S3 アクセスポイントのエイリアスを使う場合はS3バケットと同じ扱いになるので、それより古いバージョンでも使える。S3 アクセスポイントが対応した botocore のバージョンは 1.17.40 botocore 1.17.40 を…

AWS CLI と botocore のバージョンの対応を調べる方法

AWS

https://github.com/aws/aws-cli/releases で確認したい AWL CLI のバージョンの commit ハッシュ(短縮版)をクリックする。 setup.py の botocore のバージョンを確認する install_requires = [ - 'botocore==1.21.21', + 'botocore==1.21.22', ★ + が付い…

古いバージョンの AWS CLI をインストールする

AWS

EC2 インスタンスを起動する pip をインストールする $ sudo yum -y install python-pip AWS CLI をアンインストールする $ sudo pip uninstall awscli 古いバージョンの AWS CLI をインストールする $ sudo pip install "awscli==1.16.172" 参考 【AWS】古…

PukiWiki の管理者パスワード

pukiwiki-1.5.3_utf8.zip を解凍して pukiwiki-1.5.3_utf8 直下の pukiwiki.ini.php で設定する。デフォルトで無効化されているので、例えば以下のように "$adminpass = '{x-php-md5}1a1dc91c907325c69271ddf0c944bc72'; // PHP md5() 'pass'" のコメントア…

ApacheでPHPのソースが表示される

PHP

対処 PHPをインストールする $ sudo amazon-linux-extras install php7.2 $ sudo yum -y install php php-mbstring モジュールのパスを調べる $ rpm -qa |grep php php-json-7.2.34-1.amzn2.x86_64 php-cli-7.2.34-1.amzn2.x86_64 php-common-7.2.34-1.amzn2…

macOS 上で Pukiwiki を Docker で動かす

macOS 上で Pukiwiki を Docker で動かす Docker Desktop を起動する。 $ cd ~/Documents/ $ mkdir -p docker/pukiwiki $ sudo docker run -p 10080:80 -v /Users/azekyohe/Documents/app/docker/pukiwiki:/ext -d pengo/pukiwiki $ docker ps CONTAINER ID …