2018-10-01から1ヶ月間の記事一覧
S3 バケットのデフォルト暗号化に使う CMK(Customer Master Key) を KMS(Key Management Service) で生成したものから BYOK(Bring Your Own Key) に変えてみた。 手順 KMS に CMK を作成する CMK を作成する $ aws kms create-key { "KeyMetadata": { "Origi…
AWSマネジメントコンソールでS3バケットのデフォルト暗号化設定で、エイリアス名でキーを指定できるが、後で確認するとエイリアス名ではなくキーIDで表示される。 設定時 設定後に確認すると AWS CLI からS3とKMSの設定を確認すると、S3バケットとエイリアス…
マッチするファイルのリスト $ grep -l END *.sql マッチしないファイルのリスト $ grep -L END *.sql 参考 » grepのオプションおさらい TECHSCORE BLOG
CMK を作成してインポートする CMK を作成する。 $ aws kms create-key --origin EXTERNAL --description byok_key_test1 { "KeyMetadata": { "Origin": "EXTERNAL", "KeyId": "02c66c29-81b3-404b-beba-35355b4a56cc", "Description": "byok_key_test1", "K…
Redshift の場合、EBSのようにスナップショットのコピー時に CMK(Customer Master Key) を変更できないので、エンドポイントを変更したくない場合は、既存のクラスター名を変更して、元のクラスター名で BYOK を指定してクラスターを作成して、旧クラスター…
EBS ボリュームの CMK(Customer Master Key) を KMS で生成したものから BYOK(Bring Your Own Key) したものに変更してみた。EBS のスナップショットを取得して、スナップショットをコピーする際に CMK を変更し、EBS ボリュームを作成して EC2 にアタッチす…
KMS に BYOK(Bring Your Own Key) した CMK(Customer Master Key) で S3 バケットを SSE-KMS(Server-Side Encryption with AWS KMS) でデフォルト暗号化し、ファイルを S3 に Put した後、S3 のデフォルト暗号化キーを BYOK した別の CMK に変更して、S3 の…
Aurora PostgreSQL 9.6 互換でクエリログを取得してみた。 設定 DB Parameter Group をパラメータグループファミリー"aurora-postgresql9.6" で作成する log_statement=all DDL、DML も全て記録する log_min_duration_statement=0 単位はミリ秒、指定したミ…
Aurora MySQL 5.7互換で、スロークエリログを CloudWatch Logs に出力してみた。 設定 DB Parameter Group をパラメータグループファミリー"aurora-mysql5.7" で作成する slow_query_log=1 long_query_time=0 # 全てのクエリーを出力する DBインスタンスの D…
事象 AWS Schema Conversion Tool で Assessment Report Viewを表示して PDF で保存しようとすると "No glyph for U+5348 in font AmazonEmber-Regular" と怒られる。 回避策 言語を英語、地域をUSにしてOS再起動して、SCTを再実行する。 環境 macOS Sierra …
Presto から見ると (parquetの)page単位で IO して、HDFS の API を叩いて、HDFS は DSDataInputStream とかで読んで、OSレイヤーからみると sendfile(2) で xfs などのファイルシステムのファイルを読んでということになってるのではないかと推察。— yohei.…
Amazon Linux や EC2 は関係ない話だが、Public key を Amazon Linux on EC2 に登録して、Mac から ssh 接続しようとすると、 $ ssh -i ~/.ssh/id_rsa.pub tmsuser@ec2-**-***-174-72.ap-northeast-1.compute.amazonaws.com （中略） Permission denied (pub…
事象 perf-map-agent をビルドして $ sudo yum -y install cmake $ git clone --depth=1 https://github.com/jvm-profiling-tools/perf-map-agent $ cd perf-map-agent $ cmake . $ make $ cd out /etc/hadoop/conf/ 以下の hadoop-env.sh, yarn-env.sh にex…
find . -type f -name '*.jar'|xargs -n1 jar xf find . -type f -name '*.class'|xargs -n 1 jad find . -name '*.jad'|xargs -n 1 perl -nle '/md5/i and print qq/$ARGV:$_/'
EC2 に Netflix Vector をインストールしてみた。 インストール・設定 pcp のインストール $ sudo yum -y install git flex bison libmicrohttpd libmicrohttpd-devel http-parser atlas-sse3-devel $ git clone https://github.com/performancecopilot/pcp.…
アプリケーションをデプロイする人に特定のLambda関数だけにはアクセスできないようにするには、ResourceでLambda関数を指定してDenyするIAMポリシーを作成してIAMロールにアタッチし、このLambda関数の編集や実行を許可する以外のIAMユーザーにIAMロールを…
AWS SCT 評価レポート AWS Schema Conversion Tool 評価レポート - AWS Schema Conversion Tool ora2pg Ora2Pg : Migrates Oracle to PostgreSQL Oracle Database 11g/12c To Amazon Aurora with PostgreSQL Compatibility (9.6.x) Migration Playbook https…
VPCエンドポイントポリシーを変更すると CloudWatch Events で検知して Lambda でリセットするようにしてみた。 設定 IAMロールを作成する 名前: LambdaVpcEndpoint インラインポリシー { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Ac…
S3バケットの Static website hosting が有効化されたら、CloudWatch Events で検知して Lambda で無効化してみたメモ。 設定 Lambda 関数を作成する 名前: S3DeleteBucketWebsite ランタイム: Python 2.7 ロール: S3FullAccess 関数コード import boto3 s3 …
