ablog

不器用で落着きのない技術者のメモ

2018-02-01から1ヶ月間の記事一覧

Process Explorer で Windows のプロセスの環境変数を確認する

Sysinternals の Process Explorer で確認できる Process Explorer - Windows Sysinternals | Microsoft Docs How to see names and values of environment variables in Windows 8 and Windows 7

dig コマンドで ドメインツリーを辿る

ルートDNSサーバからDNSコンテンツサーバまでのドメインツリーを辿りたい場合は dig +trace でできる。 % dig +trace d.hatena.ne.jp ; <<>> DiG 9.8.3-P1 <<>> +trace d.hatena.ne.jp ;; global options: +cmd . 143705 IN NS f.root-servers.net. . 143705…

Redshift のリザルトキャッシュを無効化する方法

性能試験などで敢えてリザルトキャッシュを使わずにクエリ性能を計測したい場合は以下の手順で無効化できる。 手順 セッションレベルで無効化する方法 set enable_result_cache_for_session=off; ユーザーレベルで無効化する方法 ALTER USER awsuser SET ena…

psqlメモ

設定 ~/.psqlrc \set PROMPT1 '%[%033[1;32m%]%n %`date +%H:%M` %R%#%[%033[0m%] ' \set PROMPT2 '%[%033[1;32m%]%R%#%[%033[0m%] ' \timing on \set HISTSIZE 1000000 psqlコマンドのお勧め設定 - 青木ブログ コマンド例 ログイン psql "host=dc18xl8.****…

awslabs の Redshift の AdminViews を作成する

ソースを取得する。 $ git clone https://github.com/awslabs/amazon-redshift-utils.git 実行スクリプトを作成する $ cat <EOF > create_all_views.sql \i v_check_data_distribution.sql \i v_check_transaction_locks.sql \i v_check_wlm_query_time.sql \i v_c</eof>…

Python の Web フレームワーク Flaskを使ってみる

Python の Web フレームワーク Flask を使ってみる Flask をインストールする $ pip install Flask ディレクトリを作成する mkdir flask cd flask Hello World プログラムを作る hello.py from flask import Flask app = Flask(__name__) @app.route('/') de…

Amazon Linux で iperf を使ってみる

AWS

EC2インスタンスを2つ作成して両方に iperf をインストールし、片方でiperf をサーバとして起動し、もう片方から iperf をクライアントとして実行してベンチマークを取る。 インストール $ sudo yum -y install git gcc $ git clone https://github.com/esne…

GNU Parallel をインストールする

$ sudo yum -y install parallel

EMRからS3にアクセス時のAPI発行回数を調べる

AWS

PySpark on EMR で S3 上の1オブジェクトの読込みに API 発行回数が1回か複数回か調べてみた。 CloudTrail で API 発行を捕捉する 環境変数を設定する $ export LANG=C $ export TZ=UTC $ export AWS_DEFAULT_REGION=ap-northeast-1 trail ログ保存用 S3 バ…

S3イベント通知はオブジェクト作成完了後に通知される

AWS

S3イベント通知を使うと、S3バケットにオブジェクトが作成されれたタイミングでイベント・ドリブンでLambda関数を呼び出したりSNSトピックにメッセージを送ったりできるが、作成開始ではなく完了したタイミングでイベント通知されることを確認した。 事前準…

S3 イベント通知はオブジェクト作成完了後に通知されることを確認する

AWS

S3イベント通知を使うと、S3バケットにファイルが作成されたり削除されたのをトリガーにイベントドリブンで、Lambda関数をキックしたり、SNSやSQSにメッセージを送ったりすることができるが、作成や削除が開始したタイミングではなく完了したタイミングでイ…