ablog

不器用で落着きのない技術者のメモ

2020-11-01から1ヶ月間の記事一覧

Web レンダリング Pros/Cons

Rendering on the Web | Google Developers

Y氏鬼モットー

「競合の動き」よりも「顧客価値」を、 「短期的な結果」よりも「長期的な価値」を、 「自チームのための行動」よりも「組織全体のための行動」を、 「大がかりな分析や検討」よりも「計算されたリスクとスピード」を 価値としてるエンジニアです。 左記の事…

AWSのサービス名について

AWS

The pattern is that utility services are prefixed with AWS, while standalone services are prefixed by "Amazon".Services prefixed with AWS typically use other services, for example: AWS Elastic Beanstalk, AWS OpsWorks and AWS CloudFormation…

RDS や Aurora の設定変更で再起動が必要なもの

AWS

Aurora Modifying an Amazon Aurora DB cluster - Amazon Aurora [Settings for Amazon Aurora] - [Downtime notes] 列を参照 RDS Modifying an Amazon RDS DB instance - Amazon Relational Database Service [Settings for DB instances] - [Downtime note…

S3 Intelligent-Tiering について

AWS

従来は、アクセス頻度の高いオブジェクトを"STANDARD"に/アクセス頻度の低いオブジェクトを"STANDARD_IA"に配置する、という設計を行っていたかと思います。 しかし、アクセス頻度がどのくらいかを長期的に予測して運用することは非常に困難だったのではな…

S3 ストレージクラス分析を設定してから表示されるまでにかかる時間

AWS

S3 ストレージクラス分析を設定してから表示されるまでにかかる時間はモニタリングのグラフは24-48時間、30日以内/30-45日/45-60日/60-90日/90-180日/180日以上というライフサイクル単位がそれぞれの日数経過後と思われる。 After you configure a filter, y…

Aurora MySQL でクラスター作成後に後から変更できない設定

AWS

マネジメントコンソールでクラスター作成と変更の画面を見ると以下のような感じ。 マスターユーザー名 VPC サブネットグループ 暗号化キー バックトラック

Amazon Linux 2 に Tanel Poder の 0x.tools をインストールする

インストール sudo yum -y install git gcc git clone https://github.com/tanelpoder/0xtools cd 0xtools/ make sudo make install 使ってみる 適当にプロセスを実行する。 $ yes >> /dev/null & [1] 26464 psn $ psn -p 26464 -G syscall,filename Linux P…

Pgpool-II で詳細にログ出力する

Pgpool-II で詳細にログ出力してみる。 ログ出力 /var/log/pgpool.log Oct 29 09:52:35 ip-***-**-4-52 pgpool[30235]: [34-1] 2020-10-29 09:52:35:, pid:30235, proc_name:CHILD, db_name:writer, user:awsuser, app_name:psql, line_num:17, LOG: stateme…

nginx でレスポンスタイムをログに記録する

nginx のログにリクエスト処理時間を記録したい場合、LogFormat で $request_time を指定する。 ログ出力 /var/log/nginx/access.log **.0.3.*** - - [29/Nov/2020:14:15:07 +0000] "GET / HTTP/1.1" 200 3520 0.000 "-" "Mozilla/5.0 (Macintosh; Intel Mac…

Apache のログにレスポンスタイムを記録する

Apache のログにリクエスト処理時間を記録したい場合、LogFormatで %D(マイクロ秒)、%T(秒)で指定する。 ログ出力 /var/log/httpd/access_log **.0.3.*** - - [29/Nov/2020:13:56:07 +0000] 260★マイクロ秒(%D) 0★秒(%T) "GET / HTTP/1.1" 403 3630 …

Amazon Linux 2 で iperf でネットワークスループットを計測する

インストール iperf sudo yum -y install git gcc git clone https://github.com/esnet/iperf cd iperf ./configure sudo make sudo make install sudo ldconfig nethogs sudo yum -y install gcc-c++ libpcap-devel.x86_64 libpcap.x86_64 ncurses* git clo…

Aurora ストレージの自動リサイズについて

AWS

投稿日: Oct 15, 2020Amazon Aurora データベースクラスターに割り当てられたストレージスペースは、クラスターからデータを削除すると動的に減少するようになりました。ストレージスペースは、既に最大サイズの 128 テビバイト (TiB) まで自動的に増加する…

MySQL でショート/ロングトランザクション実行中のインデックス作成の影響

MySQL (5.7 InnoDB) で本番稼働中にインデックス作成すると、対象テーブルにショートトランザクション実行中の場合は並行でできるけど、ロングトランザクションが実行中*1の場合は Waiting for table metadata lock (synch/cond/sql/MDL_context::COND_wait_…

Athena でクエリすると "SELECT * not allowed in queries without FROM clause" と怒られる

AWS

事象 S3 にファイルを保存して、Glue のクローラでカタログを作成して、Athena で参照すると以下のエラーが発生する。 SELECT * not allowed in queries without FROM clause 原因 IAM 権限がない、Lake Formation でアクセス許可していない場合にもこのエラ…

PostgreSQL の pg_stat_statements で総実行時間の長いクエリランキングを取得する

PostgreSQL の pg_stat_statements で総実行時間(1回の実行時間 * 実行回数)の長いクエリランキングを取得するクエリ。累積値のため、スループットなどを見ようとすると定期的に取得して差分を計算する必要がある。 クエリ select b.usename, trunc(a.tota…

PostgreSQL で QPS を確認する

PostgreSQL で QPS(Queries per second) を確認したい場合、イコールではないが以下で TPS(Transactions per second) を確認することができる。 SELECT sum(xact_commit+xact_rollback) FROM pg_stat_database; RDS PostgreSQL や Aurora PostgreSQL だと、P…

Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる

AWS

事象 Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる。 解決策 以下を設定してやる。 spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false") 参考 In order to …

MySQL のクエリチューニングでボトルネック分析に使える機能

MySQL のクエリチューニングでボトルネック分析に使える機能。 MySQL show profile 再現性のあるスロークエリーには「SHOW PROFILE」を試してみよう | Think IT(シンクイット) show profile は廃止されて、後継は MySQL :: MySQL 5.7 Reference Manual :: …

MySQL で移行時のオブジェクトのステータスチェックについて

MySQL の プロシージャやファンクションは SHOW FUNCTION STATUS や information_schema.routines で確認できるけど、Oracle みたいにステータスが invalid とかは気にしなくてよさそう。 https://dev.mysql.com/doc/refman/5.7/en/information-schema-routi…

Aurora PostgreSQL のログの CloudWatch Logs への出力

AWS

Aurora PostgreSQL の CloudWatch Logs へのエクスポート設定を行うと、postgresql.log が CloudWatch Logs に出力されることを確認してみた。 error/postgresql.log.2020-11-11-0100 2020-11-11 01:17:08 UTC:172.17.4.52(34572):awsuser@writer:[1490]:LOG…

iOS14.2へのアップデート後にGoogle Authenticatorが起動しない

iOS14.2へのアップデート後にGoogle Authenticatorが起動しなくなったが、以下の手順で認証情報は消えずに復旧できた。 [設定]-[一般]-[iPhoneストレージ]-[Authenticator] [Appを取り除く]をタップ [Appを再インストール] 参考 iOS14.2へのアップデート後に…

mysql で結果セットをファイルに出力する

mysql> tee show_variables.txt mysql> SHOW VARIABLES; (中略) mysql> notee mysql> exit $ head show_variables.txt mysql> SHOW VARIABLES; +----------------------------------------------------------+-------------------------------------------…

Aurora MySQL の thread_cache_size のデフォルト値 AWS

実機での確認結果は以下の通り。パラメータグループはデフォルトの default.aurora-mysql5.7 のまま。エンジンバージョンは 5.7.mysql_aurora.2.07.2。 db.r5.2xlarge: 61 db.r5.4xlarge: 127 db.r5.8xlarge: 260 参考 不適切な MySQL パラメータおよびステ…

Aurora MySQL の max_connections のデフォルト値

AWS

実機での確認結果は以下の通り。パラメータグループはデフォルトの default.aurora-mysql5.7 のまま。エンジンバージョンは 5.7.mysql_aurora.2.07.2。 db.r5.2xlarge: 3000 db.r5.4xlarge: 4000 db.r5.8xlarge: 5000 参考情報 Aurora のパラメータグループ…

Aurora MySQL の max_connections のデフォルト値

AWS

実機での確認結果は以下の通り。パラメータグループはデフォルトの default.aurora-mysql5.7 のまま。エンジンバージョンは 5.7.mysql_aurora.2.07.2。 db.r5.2xlarge: 3000 db.r5.4xlarge: 4000 db.r5.8xlarge: 5000 参考情報 Aurora のパラメータグループ…

Amazon Chime の使い方

AWS

クイックに使い方を見る ヘルプが必要な場合 | Amazon.jobs ブラウザからの使い方も 開始方法 - Amazon Chime | AWS 電話から接続する場合の電話番号 Amazon Chime - Dial-in Numbers

Amazon カルチャーを知るのに参考になる情報

アマゾンから出ているものではないものはあくまで参考情報としてご覧ください。 OLP(Our Leadership Principles) 私たちの DNA - 地球上で最もお客様を大切にする企業であること Amazon.com が 1995 年にビジネスを開始した際、Amazon.com は「地球上で最も…