AWS Data Wrangler を使ってみる

• EC2 インスタンス（Amazon Linux 2）を作成して、IAMロールをアタッチする。
• ssh でログインする。
• pyenv をインストールして、Python 3 をインストールして有効化する。
  • Amazon Linux 2 に pyenv をインストールする - ablog
• pip をインストールする。

$ sudo yum -y install python-pip

• AWS Data Wrangler をインストールする。

$ sudo pip install awswrangler

• 実行してみる

$ python
>>> import awswrangler as wr
>>> list = wr.s3.list_objects('s3://amazon-reviews-pds/tsv/')
>>> from pprint import pprint
>>> pprint(list)
['s3://amazon-reviews-pds/tsv/',
 's3://amazon-reviews-pds/tsv/amazon_reviews_multilingual_DE_v1_00.tsv.gz',
 's3://amazon-reviews-pds/tsv/amazon_reviews_multilingual_FR_v1_00.tsv.gz',
 
(中略)
 
 's3://amazon-reviews-pds/tsv/sample_fr.tsv',
 's3://amazon-reviews-pds/tsv/sample_us.tsv']

参考

• Use Cases — AWS Data Wrangler 0.2.2 documentation