2021-01-01から1年間の記事一覧
確認結果 S3 のオブジェクトを別のパスで Glacier にコピーできる。 Glacier のオブジェクトを一発で他の S3 パスにコピーすることはできない。 同じパスでリストアしないと他のパスにコピーできない。 準備 S3 のスタンダードから Glaicier にコピーする $ …
AWS CLI の max_bandwidth で転送スループットを制限してみたメモ。 AWS CLI v2 をインストールする $ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" $ unzip awscliv2.zip $ sudo ./aws/install $ aws --version aws…
VPCエンドポイントポリシーでVPC内からアクセス可能なバケットを制限する場合、ls するには バケットの指定が必要で、Put/Get をするには "/*" の指定が必要。 { "Version": "2008-10-17", "Statement": [ { "Effect": "Allow", "Principal": "*", "Action":…
Athena（Presto） で "2021-06-20 08:52:13.810" のようなタイムタンプを分にまるめる SELECT date_trunc('minute',cast(timestart as timestamp)) as log_time, count(*) as cnt FROM "default".system_log" 関連 Date and Time Functions and Operators — …
事象 S3 アクセスポイント経由で aws s3 cp でアップロードは成功するが、aws s3 ls は "Access Denied" になる。 $ aws s3 ls s3://arn:aws:s3:ap-northeast-1:123456789012:accesspoint/s3ap-system1/upload/ --profile system1 An error occurred (Access…
CentOS 7 に SSM Agent をインストールして、セッションマネージャーでログインしてみたメモ。 SSM Agent をインストールする ここではリージョンは ap-northeast-1 を指定している。 $ sudo yum install -y https://s3.ap-northeast-1.amazonaws.com/amazon…
AWS CLI 1.4.4 で S3 の VPC エンドポイント（Interface型）を使って S3 にアップロードできることを確認したメモ。 EC2 インスタンスを準備する EC2インスタンス（CentOS7）を Public Subnet に作成する $ cat /etc/system-release CentOS Linux release 7.…
Glue クローラでテーブル作成後にテーブルを編集する。 Serde シリアル化ライブラリを org.apache.hadoop.hive.serde2.OpenCSVSerde に変更 Serde パラメータから field.delim : , を削除 Serde パラメータに以下を追加 escapeChar : \ quoteChar : " separa…
EC2インスタンスを作成する PHP PHP をインストールする $ sudo amazon-linux-extras install php7.2 $ sudo yum -y install php php-mbstring Apache Apache をインストールする $ sudo yum -y install httpd 起動する $ sudo systemctl enable httpd.servi…
EC2 インスタンスのインターネットゲートウェイ接続の問題のトラブルシューティング
CloudFront の設定 CloudFront の Distribution の Origins の設定で、カスタムヘッダーを追加する （参考）カスタムヘッダーに指定する値は、適当に MD5 でハッシュ値を生成するなど $ echo -n 'teketo' | md5sum da8fcb0c1a65f768487736e127e0bcef - ALB …
事象 Route53 にレコード作成時に CloudFront のディストリビューションが表示されない。 原因 作成するリソースレコードの名前が CloudFront ディストリビューションの CNAME と一致していないため。CloudFront ディストリビューションの CNAME を設定して…
事象 ALB のヘルスチェックが unhealthy(Health checks failed with these codes: [403]) になる 原因 /var/log/httpd/access_log を確認すると、403 エラーになっている。単に、index.html がないからだった。 10.1.1.28 - - [22/Aug/2021:01:38:16 +0000] …
メモ CPUUtilization EngineCPUUtilization FreeableMemory SwapUsage CurrConnections NetorkOut/In NetworkPacketsOut/In *Cmds *Latency 参考 Redis のメトリクス - Amazon ElastiCache for Redis モニタリングすべきメトリクス - Amazon ElastiCache for…
ターミナル＞環境設定＞設定＞詳細＞Control + V で非ASCII入力をエスケープ のチェックをはずす ターミナル＞環境設定＞設定＞詳細＞テキストエンコーディング を Unicode (UTF-8) にする 環境変数の設定 export LC_ALL=ja_JP.UTF-8 export LANG=ja_JP.UTF-…
Archived OpenJDK GA Releases から任意のバージョンの OpenJDK をダウンロードする。 参考 【Mac】OpenJDKインストール方法 | それって独り言だよね？
RDS のインスタンスクラス変更のキャンセルはマネコンからはできないが、AWS CLI からは可能。 $ aws rds modify-db-instance --db-instance-identifier aurora-postgres124-instance-1 --db-instance-class db.r5.large --apply-immediately 関連 RDSのイン…
AWS CLI 1.18.117 以降であれば対応している。なお、S3 アクセスポイントのエイリアスを使う場合はS3バケットと同じ扱いになるので、それより古いバージョンでも使える。S3 アクセスポイントが対応した botocore のバージョンは 1.17.40 botocore 1.17.40 を…
https://github.com/aws/aws-cli/releases で確認したい AWL CLI のバージョンの commit ハッシュ（短縮版）をクリックする。 setup.py の botocore のバージョンを確認する install_requires = [ - 'botocore==1.21.21', + 'botocore==1.21.22', ★ + が付い…
EC2 インスタンスを起動する pip をインストールする $ sudo yum -y install python-pip AWS CLI をアンインストールする $ sudo pip uninstall awscli 古いバージョンの AWS CLI をインストールする $ sudo pip install "awscli==1.16.172" 参考 【AWS】古…
pukiwiki-1.5.3_utf8.zip を解凍して pukiwiki-1.5.3_utf8 直下の pukiwiki.ini.php で設定する。デフォルトで無効化されているので、例えば以下のように "$adminpass = '{x-php-md5}1a1dc91c907325c69271ddf0c944bc72'; // PHP md5() 'pass'" のコメントア…
対処 PHPをインストールする $ sudo amazon-linux-extras install php7.2 $ sudo yum -y install php php-mbstring モジュールのパスを調べる $ rpm -qa |grep php php-json-7.2.34-1.amzn2.x86_64 php-cli-7.2.34-1.amzn2.x86_64 php-common-7.2.34-1.amzn2…
macOS 上で Pukiwiki を Docker で動かす Docker Desktop を起動する。 $ cd ~/Documents/ $ mkdir -p docker/pukiwiki $ sudo docker run -p 10080:80 -v /Users/azekyohe/Documents/app/docker/pukiwiki:/ext -d pengo/pukiwiki $ docker ps CONTAINER ID …
Amazon Linux 2 上で Pukiwiki を Docker で動かす $ sudo yum install -y docker $ sudo usermod -a -G docker ec2-user $ sudo /bin/systemctl start docker.service $ sudo systemctl enable docker $ mkdir $HOME/pukiwiki $ sudo docker run -p 10080:8…
インストール $ sudo yum -y install nmap-ncat 使ってみる $ nc localhost 10080 参考 ncコマンドの使い方 - Qiita
YCSB をセットアップする YCSB で DynamoDB On-Demand に負荷をかける - ablog Redis に負荷をかける ./bin/ycsb load redis -s -P workloads/workload_redis -p "redis.host=redis-cluster-no-auth.******.clustercfg.apne1.cache.amazonaws.com" -p "redis…
IOスループット physical read total bytes 物理ディスクで処理された読取りのI/Oバイト数の合計。処理がセルにオフロードされた場合とオフロードされなかった場合を含みます。 physical write total bytes 物理ディスクで処理された書込みのI/Oバイト数の合…
Amazon Linux 2 からインターネットアクセスなしで Yum でパッケージをインストールできることを確認した。 Private Subnet に EC2 インスタンス（Amazon Linux 2）を作成する S3 の VPC エンドポイント（Gateway型）を作成する Yum で PostgreSQL と jq を…
Amazon Linux 2 に PostgreSQL 9.2 をインストールして、psql や pgbench で Redshift（ra3.4xlarge x 2ノード） にクエリを実行できることを確認した。 $ sudo yum install -y postgresql postgresql-contrib postgresql-devel （中略） Running transactio…
アウトバウンドのインターネット接続のない Amazon Linux 2 に PostgreSQL 13 をインストールするため、PostgreSQL 13 のインストールに必要な rpm をリストアップした（依存するものも含む）。 事前準備 EC2 インスタンス（Amazon Linux 2）を起動する Amaz…
