ablog

不器用で落着きのない技術者のメモ

2019-08-01から1ヶ月間の記事一覧

Ubuntu に psql をインストールする

$ sudo apt-get install -y postgresql 参考 UbuntuでPostgreSQLをインストールからリモートアクセスまでの手順 - Qiita

Athena で CloudTrail から S3 イベントを集計する

AWS

クエリ select eventname, count(1) cnt from cloudtrail_logs where eventsource = 's3.amazonaws.com' group by eventname order by cnt desc 実行結果 eventname count ListObjects 263702 PutObject 200075 GetObject 134911 HeadObject 83034 UploadPar…

Amazon Redshift の監査ログの種類

AWS

デフォルトで Amazon Redshift の監査ログは設定したバケットに以下のパスで出力されるが、 AWSLogs/AccountID/ServiceName/Region/Year/Month/Day/ AccountID_ServiceName_Region_ClusterName_LogType_Timestamp.gzLogType は connectionlog、useractivityl…

S3 のアクセスログのオペレーションを集計する

AWS

ちょっとした量のS3 のアクセスログのオペレーションを集計する。 S3 のアクセスログを EC2 にダウンロードする。 $ aws s3 cp --recursive s3://s3-accesslog-az/ ./ オペレーションで集計する。 $ find . -type f -print0|xargs -0 -I{} perl -lane 'print…

アカウント毎にアクセス可能な S3 Prefix を制御する S3 バケットポリシー例

AWS

やりたいこと データレイクアカウントと連携相手の複数アカウントの間で1対多のクロスアカウントアクセス制御を行う。 連携相手のアカウントから特定S3バケットの特定 prefix 以下のみへの Put/Get/Delete を許可。 連携相手のアカウント毎に Put/Get/Delete…

AWS CLI で IAM Role の Unique ID を取得する

AWS

$ aws iam get-role --role-name EC2AdminRole { "Role": { "Description": "Allows EC2 instances to call AWS services on your behalf.", "AssumeRolePolicyDocument": { "Version": "2012-10-17", "Statement": [ { "Action": "sts:AssumeRole", "Effect…

特定のVPC EndpointからのみPut/Get/Deleteを許可するS3バケットポリシー

AWS

特定のVPC EndpointからのみPut/Get/Deleteを許可するS3バケットポリシーの記述例。 { "Version": "2012-10-17", "Statement": [ { "Sid": "Access-to-specific-VPCE-only", "Effect": "Deny", "Principal": "*", "Action": [ "s3:PutObject", "s3:GetObject…

AWRレポートを一括出力する

set pages 0 spool awr_tmp.sql select 'define report_type=html' || chr(10) || 'define dbid=2144341034' || chr(10) || 'define inst_num=1' || chr(10) || 'define num_days=40' || chr(10) || 'define begin_snap=' || SNAP_ID || chr(10) || 'define …

Oracle Database 12.1 EE on EC2 をサクッと作る

AWS Marketplace: Oracle Database 12.1 Enterprise Edition - Oracle Enterprise Linux 7.5 でEC2インスタンスを作成する。 ssh で接続する。 $ ssh -i ~/mykey.pem clckwrk@ec2-*-***-***-**.ap-northeast-1.compute.amazonaws.com Oracle Database を起動…

RDS Oracle で DataPump のダンプファイルをS3にアップロードする

RDS Oracle で DataPump のダンプファイルをS3にアップロードするには rdsadmin.rdsadmin_s3_tasks.upload_to_s3 を使うとよい。 例 SELECT rdsadmin.rdsadmin_s3_tasks.upload_to_s3( p_bucket_name => 'mys3bucket', p_prefix => '', p_s3_prefix => '', p…

AWRのリポジトリデータをまるっとエクスポートして他のDBにインポートする

AWRのリポジトリデータを Data Pump export file にエクスポートして他のデータベースにインポートする手順。 インポート ダンプファイルをEC2にアップロードする。 $ scp -i ~/mykey.pem awrdump.dmp clckwrk@ec2-*-***-***-**.ap-northeast-1.compute.amaz…

ThinkPad X280 でタッチパッドを無効化する

手順 ThinkPad をシャットダウンしてから電源オンにする。 ThinkPad ロゴが表示されたら、「 F1 」キーを連打して BIOS設定ユーティリティに入る。 「Config > Keyboard/Mouse」を選択する。 TrackPad/TouchPad を選択して、設定を有効から無効に切り替える…

DataPumpでメタデータ(DDL)のみエクスポートする

書式 $ expdp <username>/<password> directory=<directory object> content=metadata_only schemas=<schema name> dumpfile=<dump file name> LOGFILE=<log file name> 実行例 $ expdp system/manager directory=pump_dir content=metadata_only schemas=scott,hr dumpfile=ddl_scott_hr.dmp LOGFILE=exp_ddl_scott_hr.log 参考 h…</log></dump></schema></directory></password></username>