2018/9/20（木）に開催された db tech showcase 2018 Day 2 のメモ。
GPUとNVMEでPostgreSQLの限界に挑む 〜クエリ処理速度10GB/sを越えて〜
概要
- 講師: 海外 浩平さん（HeteroDB,Inc - チーフアーキテクト 兼 代表取締役社長）
- 講師略歴: PostgreSQL開発者コミュニティにおけるMajor Contributorで、セキュリティ機能やFDW、CustomScan等の機能においてコア機能の開発に貢献。数年前からGPUによるクエリ高速化モジュールであるPG-Stromを開発。この技術の実用化を目指し、2017年に HeteroDB 社を設立。現在に至る。
- 内容: 本セッションではまず、GPUを用いたPostgreSQL高速化モジュールであるPG-Stromの中核機能で、GPUとNVME-SSDを密連携てPCIeバスの限界に近いクエリ処理スループットを実現する『SSD-to-GPUダイレクトSQL実行』機能を紹介します。次に、PostgreSQLのパーティショニング機能およびI/O拡張ボックスとこの機能を併用する事で、従来の限界を遥かに越えた処理性能を実現する新しいアプローチとそのベンチマーク結果をご紹介します。
Apache Spark 2.3 and beyond - What's new? -
概要
- 講師: 猿田 浩輔 （株式会社NTTデータ - 技術開発本部 / Apache Sparkコミッター）
- 講師略歴: これまでApache HadoopやSparkをはじめとしたOSS並列分散処理基盤に関連した技術支援や開発活動を行ってきた。昨今は新しいタイプのハードウェアの登場など、パラダイムシフトに伴うOSSミドルウェアの動向に注目している。
- 内容: 今年2月にリリースされたApache Spark 2.3では、Kubernetesサポートや低レイテンシ・ストリーム処理を実現する動作モードの導入をはじめ、大きな改良がこれまでにないほど多く加えられました。また間もなくのリリースが見込まれる2.4からは「Project Hyrdogen」と称し、機械学習/ディープラーニングを応用したワークロードにおける効率的なデータ処理を実現するための開発が進められています。本セッションではSpark 2.3や2.4以降で予定されているのアップデートのうち、特にユーザにインパクトの大きなものをピックアップして紹介します。
