Apache Arrow Tokyo Meetup 2019 に参加してきた

Apache Arrow東京ミートアップ2019 - connpass に参加してきた。
カラムナの会のメンバーとしては要チェックな Apache Arrow。圧縮有無は Parquet との大きな違い。圧縮するとIO量は減るけどCPUでのオーバヘッドが増えるので、IOレイテンシとのトレードオフ。どちらが速いかはIOレイテンシと帯域幅に依存する。って何年か前に海外さんがArrowを選択した理由として聞いたなw いずれにしても汎用性が高いのでストレージに保存できるインメモリデータマートとして活用範囲が広がりそう。

イントロダクション

• by 須藤功平/@ktou/株式会社クリアコード

Apache Arrowの最新情報

• by 須藤功平/@ktou/株式会社クリアコード/Apache Arrow PMCメンバー/Red Data Toolsメンバー

Apache Arrow 2019 from Kouhei Sutou

Apache Arrow Datasets C++

• by 村田賢太/@mrkn/株式会社Speee/Apache Arrowコミッター/Red Data Toolsメンバー

RとApache Arrow

• by 湯谷啓明/@yutannihilation

PostgreSQLとApache Arrowの利用事例：PG-Strom

• by 海外浩平/@kkaigai/ヘテロDB株式会社

20191211_Apache_Arrow_Meetup_Tokyo from Kohei KaiGai

Apache SparkとApache Arrowの連携

• by Takeshi Yamamuro/@maropu/NTT/Apache Sparkコミッター

Apache Spark + Arrow from Takeshi Yamamuro

TensorFlowとApache Arrowの連携

• by 石崎一明/@kiszk/日本アイ・ビー・エム株式会社/Apache Sparkコミッター

TensorFlowとBigQuery Storage APIとApache Arrowの連携評価事例

• by 漆山和樹/@KUrushi_ml/SENSY株式会社/Researcher(ML Engineer or Data Scientist)

docs.google.com

懇親会

• 写真は懇親会に入る前の講師紹介