ablog

不器用で落着きのない技術者のメモ

2020-07-14から1日間の記事一覧

検証のため S3 バケットへの Put を禁止したバケットポリシー

AWS

検証のため S3 バケットへの Put を禁止したバケットポリシーのサンプル。 { "Version": "2012-10-17", "Statement": [ { "Sid": "deny-put", "Effect": "Deny", "Principal": "*", "Action": "s3:PutObject", "Resource": [ "arn:aws:s3:::aurora-postgres-…

ファイルを並行で圧縮する

8並行で圧縮する例。 find . -name '*.csv' -print0|xargs -0 -n1 -P 8 gzip & 32並行で解凍する例。 find . -name '*.gz' -print0|xargs -0 -n1 -P 32 gunzip &

split コマンドでファイルを分割する

split コマンドでファイルを分割したときのメモ。 コマンド -n: 分割数 -d: サフィックスを数字にする -a: サフィックスの桁数を指定する(2桁だと100ファイルまでしか分割できないため) --additional-suffix: 末尾にサフィックスを追加 log_10min.tsv: 分…