Spark on EMR から Glue Catalog を参照してみたメモ。 前提 Glue カタログにすでにデータベースとテーブルは存在するものとする。 設定 EMRクラスターを作成する際に [ソフトウェア設定]で Spark にチェックを入れ、 [AWS Glue Data Catalog の設定 (オプシ…

S3 に Spark event log 用のパス（例: s3://spark-ui-tokyo-ya/eventlog）を作成し、Glueジョブの[モニタリングオプション]-[Spark UI] にチェックを入れ、[Amazon S3 prefix for Spark event logs]にその S3 のパスを指定し、CloudFormation で Spark Histo…