ablog

不器用で落着きのない技術者のメモ

2020-01-05から1日間の記事一覧

CloudTrail ログ(JSON)を年月でパーティション化して Parquet に変換する

AWS

CloudTrail ログ(JSON)を年月でパーティション化して Parquet に変換した手順。 環境変数をセットする。 $ export S3_PATH_SRC=cloudtrail-awslogs/AWSLogs/<AWS account id>/CloudTrail $ export S3_PATH_DST=cloudtrail-awslogs-analytics S3バケットを作成する。 $ aws </aws>…

Jupyter notebook 環境をEC2で構築する

AWS

AWS Marketplace で "AWS Deep Learning AMI" で検索して、EC2インスタンスを作成する。 セキュリティグループで、ssh と TCP 8888 ポートへの マイIP からのアクセスを許可する。 ssh で接続する。 $ ssh -i .ssh/mykey.pem ubuntu@ec2-35-***-***-20.compu…