Parquet-tools で Parquet ファイルのメタデータや中身を見る

Apache Parquet とは 2010年に Google が発表した Dremel 論文の "record shredding and assembly algorithm" の内容をベースに Twitter と Cloudera が開発した列指向データ構造で、現在は Apache プロジェクトになっている。詳しくは Retty 林田さんのこ…

2017-06-29

parquet tools ビルド時に "thrift failed error: /bin/sh: thrift: command not found" で失敗する

手順 parquet tools をビルドする。 $ brew install maven32 $ git clone https://github.com/Parquet/parquet-mr.git $ cd parquet-mr/parquet-tools/ $ mvn clean package -Plocal エラー内容 Downloaded: https://repo.maven.apache.org/maven2/com/googl…

2017-06-25

AWS Simple Notification Service (SNS) を使ってみる

AWS

トピックを作成する $ aws sns create-topic --name topic1 { "TopicArn": "arn:aws:sns:ap-northeast-1:<ユーザーID>:topic1" } トピックをリスト表示する $ aws sns list-topics { "Topics": [ （中略） { "TopicArn": "arn:aws:sns:ap-northeast-1:<ユー…

2017-06-25

Amazon Simple Queue Service (SQS) を使ってみる (2)

AWS

Dead Letter キューを作成する $ cat sqs-dlq.json { "DelaySeconds":"10", "MessageRetentionPeriod":"1209600", "ReceiveMessageWaitTimeSeconds":"20", "VisibilityTimeout":"30" } $ aws sqs create-queue --queue-name DeadLetterQueue1 --attributes f…

2017-06-24

DynamoDB にテーブルを作ってデータを入れて scan、query してみる

AWS

DynamoDB に AWS CLI でテーブルを作成してデータを入れて、scan したり query したりしてみたメモ。テーブルを作成する。 $ aws dynamodb create-table \ --table-name Music \ --attribute-definitions \ AttributeName=Artist,AttributeType=S \ Attribu…

2017-06-24

AWS CLIで boolean 値を引数に取るオプションの指定方法について

AWS

AWS CLI で boolean 値を引数に取るオプションの指定は ture や false を指定するのでななくオプションを指定する。例えば DynamoDB で整合性レベルの指定はドキュメントに ”--consistent-read | --no-consistent-read (boolean)” と記載されているが、"--c…

2017-06-24

macOS で￥キーで入力する文字を\ (バックスラッシュ)に変更する方法

Mac

手順 [環境設定]-[キーボード]-[入力ソース]-[￥キーで入力する文字] で「\ (バックスラッシュ) 」を選択環境 macOS sierra(10.2.5) 参考 Macにおけるバックスラッシュ（\）の入力方法 - Qiita

2017-06-18

cloud-init メモ

AWS

Linux インスタンスでの起動時のコマンドの実行 - Amazon Elastic Compute Cloud cloud-initのデフォルト挙動を徹底的に調べてまとめてみた -結果ソースコードを読んだ- ｜ DevelopersIO Amazon Linuxのcloud-init Tips集｜ DevelopersIO AmazonLinuxのclou…

2017-06-16

AWS Summit Tokyo 資料

AWS

AWS Summit Online - 開催終了 (一部セッションは引き続き視聴可能) | AWS セッション資料・動画一覧 - AWS Summit 2019 | AWS AWS Summit Tokyo 2018 資料・動画一覧 AWS Summit Tokyo 2017 セッション資料・動画一覧 | AWS AWS Summit Tokyo 2016 セッショ…

2017-06-14

AWS クラウドアーキテクチャのベストプラクティス

AWS

AWSにおけるシステム構築の10個のベストプラクティス性能/可用性/コスト（運用含む）に集約される AWS Black Belt Online Seminar 2016 クラウドのためのアーキテクチャ設計 -ベストプラクティス- from Amazon Web Services Japan Well Architected Framewo…

2017-06-13

Kinesis Stream でシャードへの分散具合を見てみる

AWS

Kinesis Stream で10シャードのストリームを作って、1000件PUT（パーティションキーに 1〜1000の連番を指定）してみてだいたい均等に分散することを確認してみた。ストリームを作成する $ aws kinesis create-stream --stream-name shard10 --shard-count 1…