マネジメントコンソールでEBSボリュームを選択して、[ボリュームの変更] でボリュームサイズを大きくする。 パーティションを拡張する。 $ lsblk $ sudo growpart /dev/nvme0n1 1 ファイルシステム（XFS）を拡張する。 $ sudo xfs_growfs -d / meta-data=/de…

@maropu さんの TPCDS data generator for Apache Spark を使って TPC-DS のデータを生成してみた。 準備 EC2 インスタンス作成 EC2 インスタンスを作成する git と JDK 8 をインストールする $ sudo yum -y install git java-1.8.0-openjdk-devel.x86_64 Sp…

データセット Open Data on AWS Big Data And AI: 30 Amazing (And Free) Public Data Sources For 2018 Large Dataset for Bigdata · Jian Zhou Big Data Analytics Dataset List データ生成ツール GitHub - maropu/spark-tpcds-datagen: All the things ab…

準備 Amazon Linux 2 に Python をインストールする Amazon Linux 2 に pyenv をインストールする - ablog $ sudo yum -y install git \ bzip2 \ bzip2-devel \ gcc \ git \ libffi-devel \ make \ openssl \ openssl-devel \ readline \ readline-devel \ s…