ablog

不器用で落着きのない技術者のメモ

2018-09-17から1日間の記事一覧

AWS Glue の Zeppelin ノートブックで PySpark を実行して CSV を加工してみた

AWS

AWS Glue で開発エンドポイントを作成して、Zeppelin のノートブックで PySpark を実行して S3にある CSV を加工(行をフィルタ)してS3に書いてみた。S3 から読んだ CSV は Glue の DynamicFrame から SparkSQL DataFrame に変換してフィルタした後、Dynami…