Athena（Presto） で "2021-06-20 08:52:13.810" のようなタイムタンプを分にまるめる SELECT date_trunc('minute',cast(timestart as timestamp)) as log_time, count(*) as cnt FROM "default".system_log" 関連 Date and Time Functions and Operators — …

Presto の JVM の起動オプションを指定したい場合は /etc/presto/conf/jvm.config で設定して、Presto を再起動すればよい。 /etc/presto/conf/jvm.config を編集する。 $ vi /etc/presto/conf/jvm.config -verbose:class -server -Xmx214026810294 -XX:+Use…

HDFS の Datanode の Flame Graph sun.nio.ch.FileChannelImpl:::transferTo から sendfile システムコールが呼ばれている。 一番左のスタックをドリルダウンしたもの。 Presto Server の Flame Graph 一番左のスタックをドリルダウンしたもの、com.facebook…

Presto から見ると (parquetの)page単位で IO して、HDFS の API を叩いて、HDFS は DSDataInputStream とかで読んで、OSレイヤーからみると sendfile(2) で xfs などのファイルシステムのファイルを読んでということになってるのではないかと推察。— yohei.…

Presto is an open-source software project to develop a database query engine using the standard Structured Query Language (SQL).Facebook commenced development efforts on Presto in 2012, and announced its release as open source for Apache H…