https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/DBActivityStreams.html#DBActivityStreams.KinesisAccess の Python のサンプルコードの以下を編集して実行。 （中略） #aws_access_key_id="YOUR_ACCESS_KEY" #aws_secret_access_key…

GeoPy は 1.13.0 から geographiclib という C++ で書かれたライブラリに依存していると Changelog に書かれている。GitHub のソースを見ても、1.13.0 から setup.py に "INSTALL_REQUIRES = [ 'geographiclib=1.49', ]" が追加されている。 1.13.0 2018-04-…

Glueジョブの成功／失敗を Step Functions で判定してジョブ制御する。 ステートマシン { "StartAt": "ReadFilterJob", "States": { "ReadFilterJob": { "Type": "Task", "Resource": "arn:aws:states:::glue:startJobRun.sync", "Parameters":{ "JobName":"…

Glue 開発エンドポイントの Jupyter Notebook で GeoPy を使えることを確認したメモ。 GeoPy を zip で圧縮して S3 バケットにアップロードする GitHub - geopy/geopy: Geocoding library for Python. から [Clone or download] で [Download ZIP] を選択し…

Glueジョブで Python ライブラリ GeoPy を使えることを確認したメモ。 GeoPy を zip で圧縮して S3 バケットにアップロードする GitHub - geopy/geopy: Geocoding library for Python. から [Clone or download] で [Download ZIP] を選択して、ダウンロード…

EC2 EC2 インスタンス作成 $ cat /etc/system-release Amazon Linux AMI release 2018.03 $ uname -r 4.14.165-103.209.amzn1.x86_64 vsftpd をインストール $ sudo yum -y install vsftpd Passive モードの設定 当たり前だが pasv_address を設定しても ftp…

AWS Client VPN で macOS からプライベートサブネットに VPN 接続してみた。 macOS で相互認証用のキーを作成 git clone https://github.com/OpenVPN/easy-rsa.git cd easy-rsa/easyrsa3 ./easyrsa init-pki ./easyrsa build-ca nopass Common Name (eg: you…

HBase in Practice from DataWorks Summit/Hadoop Summit HBase at LINE from Shunsuke Nakamura スケーラブルなシステムのためのHBaseスキーマ設計 #hcj13w from Cloudera Japan HBaseの概要とアーキテクチャ | Think IT（シンクイット） HBase導入時の検討…

Redis とは What is Redis? Redis is yet-another-NoSQL. A key-value store, somewhat similar to Tokyo Cabinet. Except that Redis does persistence differently, which makes it faster in many cases. Redis started as a Memcached replacement, so a…

生まれた背景 Memcached was originally developed by Brad Fitzpatrick from Danga Interactive for LiveJournal. It was originally written in Perl, but is rewritten in C by Anatoly Vorobey. Now Memcached is used widely in many systems, includin…

https://www.youtube.com/watch?v=kx1K09lZF7Ihttps://qiita.com/kumagi/items/7dbb0e2a76484f6c522bhttps://www.slideshare.net/kumagi/db-75506786https://youtu.be/XB53N2eIAig https://15445.courses.cs.cmu.edu/fall2019/slides/26-potpourri.pdf https…

SageMaker GroundTruth で UpdateWorkforce で許可する workforce に対するIPアドレスレンジを指定したい場合は、IAMポリシーで sagemaker:UpdateWorkforce を付与すればよい。逆に権限を与えたくない場合は sagemaker:UpdateWorkforce を付与しなければよい…

Bigtable Googleを支える技術 ‾巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)作者:西田 圭介発売日: 2008/03/28メディア: 単行本（ソフトカバー） P.115 Bigtable はむしろ、インデックスを生成する側で用いられているようです。たとえばクローラ…

Apache Impalaパフォーマンスチューニング #dbts2018 from Cloudera Japan Effective Data Lakes - ユースケースとデザインパターン from Noritaka Sekiyama Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud from Noritaka Sekiyama Apac…

エッセイをメモるページ。

監査ログ取得目的などで、Amazon Redshift で取得された結果セットの行数を調べるクエリ。 /* returned_rows */ select a.userid ,a.query ,a.substring sql ,b.rows from svl_qlog a join stl_return b on a.query=b.query where b.slice >= 6411 and a.use…

[追記]スライスに関する情報として、STV_SLICESというテーブルもあるようです。上記SQLに追記する形でノード・スライスの情報を付与してみました。(※これを見る限り、上記のスライス"6411"のような極端に大きな数字についてはリーダーノードの情報になるので…