S3 に 1MB のオブジェクトを1億個作成する手順

S3 に 1MB のオブジェクトを1億個作成する手順（実際にはやらない）。

• s3-cp-100m.sh

#!/bin/bash
date
dd if=/dev/urandom of=1mb.dat bs=1m count=1
aws s3 cp 1mb.dat s3://az-cp-src/
date
seq -w 1 100000000|xargs -t -P512 -I{} aws s3 cp s3://az-cp-src/1mb.dat s3://az-100m/{}.dat > /dev/null
date

• 実行する

$ nohup ./s3-cp-100m.sh > s3-cp-100m.log 2>&1 &

• ログを確認する

$ tail -f s3-cp-100m.log
nohup: ignoring input
Mon Oct 14 01:57:28 UTC 2019
dd: invalid number ‘1m’
Completed 256.0 KiB/1.0 MiB (1.7 MiB/s) with 1 file(s) remaining^MCompleted 512.0 KiB/1.0 MiB (3.3 MiB/s) with 1 file(s) remaining^MCompleted 768.0 KiB/1.0 MiB (4.9 MiB/s) with 1 file(s) remaining^MCompleted 1.0 MiB/1.0 MiB (6.4 MiB/s) with 1 file(s) remaining  ^Mupload: ./1mb.dat to s3://az-cp-src/1mb.dat
Mon Oct 14 01:57:29 UTC 2019
aws s3 cp s3://az-cp-src/1mb.dat s3://az-100m/000000001.dat
aws s3 cp s3://az-cp-src/1mb.dat s3://az-100m/000000002.dat
aws s3 cp s3://az-cp-src/1mb.dat s3://az-100m/000000003.dat

• htop で実行状況を確認する。

$ sudo yum -y install htop
$ htop