事象 S3 にファイルを保存して、Glue のクローラでカタログを作成して、Athena で参照すると以下のエラーが発生する。 SELECT * not allowed in queries without FROM clause 原因 IAM 権限がない、Lake Formation でアクセス許可していない場合にもこのエラ…

PostgreSQL の pg_stat_statements で総実行時間（1回の実行時間 * 実行回数）の長いクエリランキングを取得するクエリ。累積値のため、スループットなどを見ようとすると定期的に取得して差分を計算する必要がある。 クエリ select b.usename, trunc(a.tota…

PostgreSQL で QPS(Queries per second) を確認したい場合、イコールではないが以下で TPS(Transactions per second) を確認することができる。 SELECT sum(xact_commit+xact_rollback) FROM pg_stat_database; RDS PostgreSQL や Aurora PostgreSQL だと、P…

事象 Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる。 解決策 以下を設定してやる。 spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false") 参考 In order to …

MySQL のクエリチューニングでボトルネック分析に使える機能。 MySQL show profile 再現性のあるスロークエリーには「SHOW PROFILE」を試してみよう | Think IT（シンクイット） show profile は廃止されて、後継は MySQL :: MySQL 5.7 Reference Manual :: …

MySQL の プロシージャやファンクションは SHOW FUNCTION STATUS や information_schema.routines で確認できるけど、Oracle みたいにステータスが invalid とかは気にしなくてよさそう。 https://dev.mysql.com/doc/refman/5.7/en/information-schema-routi…

Aurora PostgreSQL の CloudWatch Logs へのエクスポート設定を行うと、postgresql.log が CloudWatch Logs に出力されることを確認してみた。 error/postgresql.log.2020-11-11-0100 2020-11-11 01:17:08 UTC:172.17.4.52(34572):awsuser@writer:[1490]:LOG…

iOS14.2へのアップデート後にGoogle Authenticatorが起動しなくなったが、以下の手順で認証情報は消えずに復旧できた。 [設定]-[一般]-[iPhoneストレージ]-[Authenticator] [Appを取り除く]をタップ [Appを再インストール] 参考 iOS14.2へのアップデート後に…

mysql> tee show_variables.txt mysql> SHOW VARIABLES; （中略） mysql> notee mysql> exit $ head show_variables.txt mysql> SHOW VARIABLES; +----------------------------------------------------------+-------------------------------------------…

実機での確認結果は以下の通り。パラメータグループはデフォルトの default.aurora-mysql5.7 のまま。エンジンバージョンは 5.7.mysql_aurora.2.07.2。 db.r5.2xlarge: 61 db.r5.4xlarge: 127 db.r5.8xlarge: 260 参考 不適切な MySQL パラメータおよびステ…

実機での確認結果は以下の通り。パラメータグループはデフォルトの default.aurora-mysql5.7 のまま。エンジンバージョンは 5.7.mysql_aurora.2.07.2。 db.r5.2xlarge: 3000 db.r5.4xlarge: 4000 db.r5.8xlarge: 5000 参考情報 Aurora のパラメータグループ…

実機での確認結果は以下の通り。パラメータグループはデフォルトの default.aurora-mysql5.7 のまま。エンジンバージョンは 5.7.mysql_aurora.2.07.2。 db.r5.2xlarge: 3000 db.r5.4xlarge: 4000 db.r5.8xlarge: 5000 参考情報 Aurora のパラメータグループ…

クイックに使い方を見る ヘルプが必要な場合 | Amazon.jobs ブラウザからの使い方も 開始方法 - Amazon Chime | AWS 電話から接続する場合の電話番号 Amazon Chime - Dial-in Numbers

アマゾンから出ているものではないものはあくまで参考情報としてご覧ください。 OLP(Our Leadership Principles) 私たちの DNA - 地球上で最もお客様を大切にする企業であること Amazon.com が 1995 年にビジネスを開始した際、Amazon.com は「地球上で最も…

手順 RDS MySQL のスナップショットを取得する。 マネコンで RDS MySQL のスナップショットを選択、[アクション] - [スナップショットの移行] を選択。 ウイザードに従って入力すると、Aurora クラスターが作成される。 参考 Amazon RDS MySQL DB インスタン…

Aurora リードレプリカによる RDS MySQL から Aurora MySQL への移行手順。 手順 マネコンで RDS MySQL インスタンスを選択、[アクション] - [Aurora リードレプリカの作成] を選択。 RDS MySQL に対する書込みトランザクションを停止、Aurora リードレプリ…

mysql がすでに稼働している場合は、source コマンドまたは \. コマンドを使用して SQL スクリプトファイルを実行できます。 mysql> source file_name mysql> \. file_name MySQL :: MySQL 5.6 リファレンスマニュアル :: 4.5.1.5 テキストファイルから SQL …

AmazonRDSFullAccess 管理ポリシー AmazonRDSFullAccess はすべての Amazon RDS API オペレーションへのアクセスを許可する AWS 管理ポリシーです。また、このポリシーは、Amazon SNS を使用するイベント通知などの、Amazon RDS コンソールで使用される関連…

Pgpool-II のログ出力設定メモ。 設定 /etc/pgpool-II/pgpool.conf の設定 # - Where to log - log_destination = 'syslog' # Where to log # Valid values are combinations of stderr, # and syslog. Default to stderr. # - What to log - log_line_prefi…

www.cloudping.co

原則として「DB パラメータG」の値が適用されており、DB パラメータGの値がデフォルトの際に「DB クラスターパラメータG」の値が適用されています。実験結果から、変更の順序に関係なく、DB パラメータGの設定値がデフォルトであることが基準であると考えら…

Packet per Second (PPS) per Network Interface Limit Each network interface in an Amazon VPC has a hard limit of 1024 packets that it can send to the Amazon Provided DNS server every second. Therefore, a computing resource on AWS that has a…

RDS でパラメータグループが "Incompatible-parameters" となった場合、他のパラメータグループに変更できない。 パラメータグループを選択して「元に戻す（reset）」を選択して正常に戻してやる。 手順は下記 URL 参照 互換性のないパラメータ状態の Amazon…

Aurora PostgreSQL で pg_stat_statements ビューを参照できるようにする手順。 設定手順 RDS でパラメータグループを作成 パラメータグループファミリー: aurora-postgresql11 タイプ: DB Parameter Group 作成したパラメータグループで以下の通り設定 パラ…

MariaDB Connector/J で Failover パラメータで aurora を指定すると、デフォルト値が socketTimeout が 10秒（ aurora を指定しない場合は 0）、useBatchMultiSend が false（aurora を指定しない場合は true） に変わる。socketTimeout が 10秒なのはフェ…

新しい DB インスタンスを作成するときは、現在サポートされているいずれかの MySQL バージョンを指定できます。メジャーバージョン (MySQL 5.7 など) と、指定したメジャーバージョンでサポートされている任意のマイナーバージョンを指定できます。バージョ…

Q: フェイルオーバー中はどのようなことが起き、どのくらいの時間がかかりますか?フェイルオーバーは Amazon Aurora によって自動的に処理されるため、アプリケーションは管理上の手動介入なしで、可能な限り迅速にデータベースオペレーションを再開すること…

Aurora MySQL の DB パラメータグループ(default.aurora-mysql5.7)と DB クラスターパラメータグループ(default.aurora-mysql5.7)を比較してみた。 $ aws rds describe-db-cluster-parameters --db-cluster-parameter-group-name default.aurora-mysql5.7|jq…

RDS MySQL(default.mysql5.7) と Aurora MySQL(default.aurora-mysql5.7) のパラメータグループを比較してみた。 $ aws rds describe-db-parameters --db-parameter-group-name default.mysql5.7|jq -r '.Parameters[]|@text "\(.ParameterName)"'|sort > de…

基本形 緊張と緩和と共感 天丼 前出のギャグを2度、3度と言うこと。使い方としては、一回目のギャグを言ってから、聞いてる人がそれを忘れたころ、関係ないところや、間違った意味でそのギャグをまた言うという。 すかし 引いて笑わせる笑いの技術。引きツッ…