ablog

不器用で落着きのない技術者のメモ

2020-06-15から1日間の記事一覧

SparkSQL メモ

DataFrame を SparkSQL で操作する サンプル df.registerTempTable('table1') df_res = spark.sql('select * from table1') df_res.show() 参考: PySpark の DataFrame を SparkSQL で操作する - CUBE SUGAR CONTAINER Timestamp 型に変更する やりたいこと …

Glue クローラでカスタム分類子を使う

AWS

サンプル %{TIMESTAMP_ISO8601:timestamp} %{WORD:method} %{NOTSPACE:uri} %{WORD:statuscode} %{GREEDYDATA:json} 参考 Glueの使い方的な⑩(カスタムClassifierの手始め) - Qiita カスタム分類子の書き込み - AWS Glue Test grok patterns Grok Debugger