ablog

不器用で落着きのない技術者のメモ

2020-08-01から1ヶ月間の記事一覧

Amazon Linux 2 に Oracle Instant Client をインストール

Amazon Linux 2 に Oracle Instant Client (11.2.0.4) をインストールしたメモ。 $ cat /etc/system-release Amazon Linux release 2 (Karoo) $ uname -r 4.14.186-146.268.amzn2.x86_64 ダウンロード・インストール Instant Client for Linux x86-64 (64-bi…

簡易 Linux 性能情報取得コマンド

あえてオールドクラシックなコマンドで。 export LANG=C # vmstat nohup vmstat 5|awk '{print strftime("%Y-%m-%d %H:%M:%S"), $0}{fflush()}'> vmstat_20200826.log & # mpstat nohup mpstat -P ALL 5 > mpstat_20200826.log & # iostat nohup iostat -dx …

インターネット接続のない Amazon Linux 2 に OpenJDK をインストールする

AWS

インターネット接続可能な Amazon Linux 2 で OpenJDK と依存パッケージをダウンロード /etc/yum.conf で keepcache=1 に設定 $ sudo vi /etc/yum.conf keepcache=1 OpenJDK をインストール & ダウンロード $ sudo yum -y install java-1.8.0-openjdk-devel.…

yum で rpm をインストールせずにダウンロードする

yum で rpm をインストールせずにダウンロードする $ yumdownloader --destdir=rpm/ java-1.8.0-openjdk-devel.x86_64 参考 yum|rpm パッケージをダウンロードする

EC2 の起動・停止だけする IAM ポリシー

AWS

EC2 の起動・停止だけする IAM ポリシー。EC2 で Env タグが PoC になっているインスタンスの起動・停止が可能。 IAMポリシー(EC2StopSartPolicy) { "Version": "2012-10-17", "Statement": [ { "Action": [ "ec2:DescribeInstances" ], "Resource": "*", …

Oracle Database 12.2 で create user すると ORA-65096 が発生する

Oracle Database 12.2 で create user すると ORA-65096 が発生する。 事象 Oracle Database 12.2 で create user すると ORA-65096 が発生する。 $ sqlplus / as sysdba SQL*Plus: Release 12.2.0.1.0 Production on Sun Aug 23 16:03:13 2020 Copyright (c…

Amazon Linux 2 に SQLcl をインストールする

Amazon Linux 2 に SQLcl をインストールしたメモ。 インストール Open JDK 1.8.0 をインストール $ sudo su - ec2-user $ sudo yum -y install java-1.8.0-openjdk-devel.x86_64 $ java -version openjdk version "1.8.0_252" OpenJDK Runtime Environment …

Lambda で Secrets Manager から取得した情報をキャッシュする

AWS

Secrets Manager は Rate limit for DescribeSecret/GetSecretValue API requests の上限が2000(上限緩和不可)という場合、Lambda の実行が2000回/秒を超える場合どうするかという問題がある。そこで、Lambda の handler 外に書いたコードは、コールドスタ…

Redshift の UNLOAD でエスケープなしでクエリを書く

AWS

Redshift の UNLOAD でエスケープなしでクエリを書く 書式 unload ($$ ここにクエリを書く $$) to 's3://redshitf-unload/audit_log_' iam_role 'arn:aws:iam::123456789012:role/redshift-spectrum-s3-fullaccess' header format csv gzip parallel off all…

Redshift の UNLOAD で1ファイルにまとめて出力する

AWS

UNLOAD コマンドで PARALLEL OFF オプションをつけると1ファイルにまとめて出力することができる。 unload ('select * from stl_query') to 's3://redshift-unload/stl_query_' iam_role 'arn:aws:iam::123456789012:role/redshift-spectrum-s3-fullaccess' …

Glueジョブのブックマーク

AWS

Amazon S3 入力ソースの場合、AWS Glue ジョブのブックマークではオブジェクトの最終更新日時を確認して、どのオブジェクトを再処理する必要があるのかを確認します。入力ソースデータが最後のジョブ実行以降に変更されている場合、ジョブを再度実行すると、…