Oracle Database の待機イベントは version 7.0 （1991-1992年頃）で初めて実装された。元々は開発チームがベンチマークでボトルネックを特定するために実装されたものだった。 Juan Loaiza によると、Mark Porter も関わっていて、主に Keshevan Srinivasan…

Oracle Database の SQL トレースは最初は version 5（1986年リリース） で開発者のデバッグのために実装されました。version 5 では undocumented で not supported な機能でしたが、version 6 から documented でユーザーが使える機能になりました。 以下…

1つの Lambda 関数にいくつの SQS から Lambda トリガーとして設定できるか。特に意味はない。 for i in {1..1000} do sqs_url=`aws sqs create-queue --queue-name LambdaQueue$(printf "%03d" ${i}) | jq -r '@text "\(.QueueUrl)"'` sqs_arn=`aws sqs get…

検証のため S3 バケットへの Put を禁止したバケットポリシーのサンプル。 { "Version": "2012-10-17", "Statement": [ { "Sid": "deny-put", "Effect": "Deny", "Principal": "*", "Action": "s3:PutObject", "Resource": [ "arn:aws:s3:::aurora-postgres-…

8並行で圧縮する例。 find . -name '*.csv' -print0|xargs -0 -n1 -P 8 gzip & 32並行で解凍する例。 find . -name '*.gz' -print0|xargs -0 -n1 -P 32 gunzip &

split コマンドでファイルを分割したときのメモ。 コマンド -n: 分割数 -d: サフィックスを数字にする -a: サフィックスの桁数を指定する（2桁だと100ファイルまでしか分割できないため） --additional-suffix: 末尾にサフィックスを追加 log_10min.tsv: 分…

追記（2020/1/6）： 複数月一気に取得できるよう改良した。以下は2020年10月から3ヶ月分を取得する例。 $ python hatena_scraper.py 2020 10 3 > 2020Q4 はてなブログの記事一覧をスクリピングしてからタイトルと URL を TSV に出力する Python スクリプト。…

AWS Hands On Amazon SageMaker On Demand | AWS を試してみた。

gti で .DS_Store を無視するよう設定する $ vi ~/.gitignore_global .DS_Store $ git config --global core.excludesfile ~/.gitignore_global GitHub の .DS_Store を削除する $ git rm -r --cached . $ git add . $ git commit -m "create .gitignore" $ …

vsftpd で ftp サーバを立てる手順。 vsftpd をインストール・起動・自動起動設定 $ sudo yum -y install vsftpd $ sudo adduser ftpuser $ sudo passwd ftpuser $ sudo systemctl start vsftpd $ sudo chkconfig vsftpd on ftp クライアントをインストール …

VSCode から変更したファイルを Github に push した手順。 GitHub から clone したディレクトリを VSCode で開く git アイコンをクリック。 変更したファイルの「＋」をクリックしてステージング。 コメントを入力して、「✔︎」をクリックしてコミット。 「…

VSCode の Remote - SSH 拡張機能をインストールして、VSCode から EC2 上のファイルを直接編集できるようにした手順。 インストール VSCode を起動する 左メニューの [Extensions] をクリックし、"remote" で検索し、Remote SSH を選択。 [Install] をクリ…

事象 QuickSight で [新しい分析]-[新しいデータセット] で S3 のデータを参照しようとすると「マニフェストファイルを有効な JSON として解析することはできません。」と怒られる 原因 ファイルが BOM付き UTF8 になっていたため。 $ file test.json test.j…

Amazon QuickSight で S3 のデータを可視化してみた。 データの準備 住所データCSV【住所.jp】 から csv_zenkoku.zip をダウンロードする。 解凍して、UTF8 に変換する（macOS）。 $ brew install nkf $ unzip csv_26kyouto.zip $ nkf -Lw zenkoku.csv > zen…

メモ What could be the problem? The first thing I looked at was whether the compression type for the data was the problem. GZip is a non splittable compression type, so it is likely the excess time is from uncompression of the data. （中略…

Amazon Linux 2 にパッケージをインストール sudo yum -y install gcc sudo yum -y install python-devel Python のモジュールをインストール pip install boto3 pip install aws-encryption-sdk pip install pycrypto pip install dataclasses pip install …

Spark 2.4.3 pyspark.sql module