ablog

不器用で落着きのない技術者のメモ

AWS Glue の Spark ジョブで spark.conf.set() する方法

AWS
  • [ジョブの編集]-[セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)]-[ジョブパラメータ] で以下のように設定する。
    • キー: --conf
    • 値: spark.sql.parquet.enableVectorizedReader=false

f:id:yohei-a:20201217220104p:plain

関連