ablog

不器用で落着きのない技術者のメモ

2020-11-24から1日間の記事一覧

Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる

AWS

事象 Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる。 解決策 以下を設定してやる。 spark.conf.set("spark.sql.parquet.enableVectorizedReader", "false") 参考 In order to …