ablog

不器用で落着きのない技術者のメモ

2017-01-01から1年間の記事一覧

SAP HANA に触れてみる

SAP

SAP Community Account を作成する https://www.sap.com/japan/index.html の右上の人型アイコンをクリックしてログオン画面に移動する。 ログオン画面の下の[登録]をクリックしてアカウントを作成する。 参考 AWS クラウドでの SAP HANA: クイックスタート…

PostgreSQL で時間ベースのパフォーマンス分析

pg_stat_statements まずやっとくPostgreSQLチューニング from Kosuke Kida pg_statsinfo まずやっとくPostgreSQLチューニング from Kosuke Kida まずやっとくPostgreSQLチューニング from Kosuke Kida まずやっとくPostgreSQLチューニング from Kosuke Kida…

AWS CLI 集

AWS

書式 タイムスタンプの指定方法 タイムゾーン 書式 サンプル 日本標準時(JST) yyyy-MM-ddTHH:mm:ss+0900 2014-10-10T13:50:40+09:00 協定世界時(UTC) yyyy-MM-ddTHH:mm:ssZ 2014-10-10T13:50:40Z 例 全般 タイムスタンプのフォーマットを変える((以下でやっ…

AWS DMS(Database Migration Service) で特定の時点以降のトランザクションをレプリケーションする

AWS

DMS(Database Migration Service)では RDBMS のREDO(トランザクション)ログを読んで Amazon RDS にテーブルのデータをレプリケーションする CDC(Change Data Capture) 機能*1があるが、特定の時点以降のデータをレプリケーションしたい場合は、AWSマネジメ…

Redshiftの接続先について

AWS

エンドポイントは変更、サイズ変更、再起動、削除->スナップショットから復元しても変わらない*1。 アプリなどから Redshift への接続先を完全に固定したい場合は DNS でエンドポイントに CNAME を設定する。 パブリックアクセス可能なVPC内の Redshift では…

スワップ領域がないとどうなるか

Systems Performance: Enterprise and the Cloud (English Edition)作者: Brendan Gregg出版社/メーカー: Prentice Hall発売日: 2013/10/07メディア: Kindle版この商品を含むブログを見るP.280 It is also interesting to ask what happen if no swap device…

Parquet-tools で Parquet ファイルのメタデータや中身を見る

Apache Parquet とは 2010年に Google が発表した Dremel 論文の "record shredding and assembly algorithm" の内容をベースに Twitter と Cloudera が開発した列指向データ構造で、現在は Apache プロジェクトになっている。 詳しくは Retty 林田さんのこ…

parquet tools ビルド時に "thrift failed error: /bin/sh: thrift: command not found" で失敗する

手順 parquet tools をビルドする。 $ brew install maven32 $ git clone https://github.com/Parquet/parquet-mr.git $ cd parquet-mr/parquet-tools/ $ mvn clean package -Plocal エラー内容 Downloaded: https://repo.maven.apache.org/maven2/com/googl…

AWS Simple Notification Service (SNS) を使ってみる

AWS

トピックを作成する $ aws sns create-topic --name topic1 { "TopicArn": "arn:aws:sns:ap-northeast-1:<ユーザーID>:topic1" } トピックをリスト表示する $ aws sns list-topics { "Topics": [ (中略) { "TopicArn": "arn:aws:sns:ap-northeast-1:<ユー…

Amazon Simple Queue Service (SQS) を使ってみる (2)

AWS

Dead Letter キューを作成する $ cat sqs-dlq.json { "DelaySeconds":"10", "MessageRetentionPeriod":"1209600", "ReceiveMessageWaitTimeSeconds":"20", "VisibilityTimeout":"30" } $ aws sqs create-queue --queue-name DeadLetterQueue1 --attributes f…

DynamoDB にテーブルを作ってデータを入れて scan、query してみる

AWS

DynamoDB に AWS CLI でテーブルを作成してデータを入れて、scan したり query したりしてみたメモ。 テーブルを作成する。 $ aws dynamodb create-table \ --table-name Music \ --attribute-definitions \ AttributeName=Artist,AttributeType=S \ Attribu…

AWS CLIで boolean 値を引数に取るオプションの指定方法について

AWS

AWS CLI で boolean 値を引数に取るオプションの指定は ture や false を指定するのでななくオプションを指定する。 例えば DynamoDB で整合性レベルの指定はドキュメントに ”--consistent-read | --no-consistent-read (boolean)” と記載されているが、"--c…

macOS で¥キーで入力する文字を\ (バックスラッシュ)に変更する方法

Mac

手順 [環境設定]-[キーボード]-[入力ソース]-[¥キーで入力する文字] で「\ (バックスラッシュ) 」を選択 環境 macOS sierra(10.2.5) 参考 Macにおけるバックスラッシュ(\)の入力方法 - Qiita

cloud-init メモ

AWS

Linux インスタンスでの起動時のコマンドの実行 - Amazon Elastic Compute Cloud cloud-initのデフォルト挙動を徹底的に調べてまとめてみた -結果ソースコードを読んだ- | DevelopersIO Amazon Linuxのcloud-init Tips集 | DevelopersIO AmazonLinuxのclou…

AWS Summit Tokyo 資料

AWS

AWS Summit Online - 開催終了 (一部セッションは引き続き視聴可能) | AWS セッション資料・動画一覧 - AWS Summit 2019 | AWS AWS Summit Tokyo 2018 資料・動画一覧 AWS Summit Tokyo 2017 セッション資料・動画一覧 | AWS AWS Summit Tokyo 2016 セッショ…

AWS クラウドアーキテクチャのベストプラクティス

AWS

AWSにおけるシステム構築の10個のベストプラクティス 性能/可用性/コスト(運用含む)に集約される AWS Black Belt Online Seminar 2016 クラウドのためのアーキテクチャ設計 -ベストプラクティス- from Amazon Web Services Japan Well Architected Framewo…

Kinesis Stream でシャードへの分散具合を見てみる

AWS

Kinesis Stream で10シャードのストリームを作って、1000件PUT(パーティションキーに 1〜1000の連番を指定)してみてだいたい均等に分散することを確認してみた。 ストリームを作成する $ aws kinesis create-stream --stream-name shard10 --shard-count 1…

消えたDB Time を追え (DB Time > CPU Time + Wait Time になるケース)

CPU のランキュー待ち ページイン時のディスクI/O待ち(メジャーフォルト) AIX on Power 7 SMT である条件下で発生するケース 問題ではなくCPU時間や使用率の計上の仕方により発生する トレースファイルに書くのに時間を要してるケースいるケース

目黒のグルメ情報

四川料理 龍門 陳麻家 椿華亭 華(火鍋) ラーメン ぶらり 一輪 しづる 焼肉 稲田屋 Ponga 貴味苑 明洞 翠苑 とん豚デジ ホルモン 闇市 ステーキ ハマ 目黒でステーキ トンカツ 大宝 とんき かつ壱 ジンギスカン 兜 焼鳥 鳥芳 居酒屋 福の花 菜の花 なっぱご…

Amazon DynamoDB に負荷をかけてみる

AWS

YCSBでDynamoDBを殴ってみた | DevelopersIO を参考に Amazon DynamoDB に負荷をかけてみた。 セットアップ DynamoDBのセットアップ テーブルを作成する テーブル名: usertable プライマリパーティションキー:firstname(文字列) JDKのインストール $ sudo…

Amazon Simple Queue Service (SQS) を使ってみる

AWS

EC2 から AWS CLI で Simple Queue Service を使ってみる。 Access key ID、Secret access key、デフォルトリージョンを設定する。 $ aws configure キューを作成する $ aws sqs create-queue --queue-name TestQueue { "QueueUrl": "https://queue.amazonaw…

シンプルでシステマチックな Redshift 性能分析

実行計画とステップごとの所要時間 [Query Execution Details] Plan Actual リソース使用状況 マネジメントコンソールで見れる ビュー SVL_QUERY_METRICS_SUMMARY SVL_QUERY_METRICS SVL_QUERY_QUEUE_INFO SVL_QUERY_SUMMARY SVL_QUERY_REPORT SVL_COMPILE S…

MacBook Pro 13インチ用にマグネット式プライバシーフィルムを購入

Mac

MacBook Pro (Retina, 13-inch, Early 2015) 用にマグネット式プライバシーフィルム*1を購入。 マグネット式で簡単に取り外しできて良い感じ。 UNIQ MacGuard マグネット式プライバシーフィルム MacbookPro/Air 13インチ用 MBG13PF出版社/メーカー: TIMELY×U…

Amazon Redshift と PostgreSQL の VACUUM FULL の動作の違い

AWS

Amazon Redshift と PostgreSQL の VACUUM FULL の動作は似ているが少し違う。どちらも空き領域を再利用するが、Redshift は「行を再ソート」する点が違う。これはそもそも、Redshift と PostgreSQL のデータ構造が異なるためで、PostgreSQL は行指向データ…

S3で jQuery を使って SSI 的なことをする

AWS

S3 で Server Side Include (SSI)的なことを jQuery でやってみた(Client Side Include)。 結果 作成したバケットの [プロパティ]-[Static website hosting] を選択し、 [エンドポイント]の URL にブラウザでアクセスしてみると無事成功 手順 S3 にバケ…

Redshift のクエリ分析参考資料

AWS

クエリアラートの確認 - Amazon Redshift クエリプランの分析 - Amazon Redshift クエリ実行の分析 - Amazon Redshift クエリの概要の分析 - Amazon Redshift クエリパフォーマンスの向上 - Amazon Redshift クエリプラン - Amazon Redshift システムビュー …

Latency Is Everywhere And It Costs You Sales - How To Crush It

メモ Latency is Everywhere and it Costs You Sales - How to Crush it - High Scalability -

気になる論文3本

DB

Amazon Aurora Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases - https://t.co/dKyAQWdcYP pic.twitter.com/eNCPHERGYr— Jeff Barr (@jeffbarr) 2017年5月15日 Spanner https://t.co/iCCtzXdtnh Spanner: Bec…

sched: Interrupt Aware Scheduler

Anybody tested Oracle's interrupt aware CPU scheduler (https://t.co/vNb9mQ9M55). In addition Linux 4.12 brings 2 I/O schedulers BFQ & Kyber.— Stefan Koehler (@OracleSK) 2017年5月15日Linux のプロセススケジューラで割込み負荷の高いCPU以外にプ…

MySQLのソースコードを入手する

MySQL :: Download MySQL Community Server で、 以下の通り選択し Select Operating System: Source Code Select OS Version: Generic Linux (Architecture Independent) "Compressed TAR Archive" をダウンロード 補足 最新バージョン以外は以下からダウン…