ablog

不器用で落着きのない技術者のメモ

ダブルクオート引用符の CSV を Glue クローラでテーブル作成時に認識させる

AWS

Glue クローラでテーブル作成後にテーブルを編集する。

  • Serde シリアル化ライブラリを org.apache.hadoop.hive.serde2.OpenCSVSerde に変更
  • Serde パラメータから field.delim : , を削除
  • Serde パラメータに以下を追加
    • escapeChar : \
    • quoteChar : "
    • separatorChar : ,

f:id:yohei-a:20210823102441p:plain

参考