ablog

不器用で落着きのない技術者のメモ

2018-05-01から1ヶ月間の記事一覧

S3 の署名付きURLを使う

AWS

ファイルサイズが大きくてメールに添付できないようなときにS3に置いて署名付きURLを発行する方法をメモ $ aws s3 presign s3://foo-share/test.zip --expires-in 432000 https://foo-share.s3.amazonaws.com/... URLが表示されるのでこのURLをシェアしてダ…

MongoDB メモ

データベースを削除する $ mongo MongoDB shell version: 2.6.12 connecting to: test Welcome to the MongoDB shell. For interactive help, type "help". For more comprehensive documentation, see http://docs.mongodb.org/ Questions? Try the support…

MongoDB に YCSB でベンチマークをかけてみる

インストール MongoDB $ sudo vi /etc/yum.repos.d/mongodb.repo [mongodb] name=MongoDB repo baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/ gpgcheck=0 enabled=1 $ sudo yum -y install git mongodb-org JDK 1.8 $ sudo yum -y in…

YCSB をビルドしようとすると "invalid target release: 1.8" と怒られる

事象 YCSB をビルドしようとすると "invalid target release: 1.8" と怒られる。 $ git clone https://github.com/brianfrankcooper/YCSB.git $ mvn clean package Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (def…

別アカウントのS3バケットに対して Athena でクエリを実行する

AWS

メモ 某S3バケットからアカウントAのS3バケットにデータコピー aws s3 cp s3://***/data/gz/sh10/sales/ s3://az-swingbench/data/gz/sh10/sales/ --recursive アカウントAのS3バケットでアカウントBからのアクセス許可する { "Version": "2012-10-17", "Id"…

AWS SDK for Python を使ってみる

boto3 をインストールする。 $ sudo pip install boto3 s3_ls.py import os import boto3 s3 = boto3.resource('s3') mybucket = s3.Bucket('az-test-datalake') for object in mybucket.objects.all(): print(object) 実行する $ python s3_ls.py s3.Object…

bash で YYYYMMDD な名前のファイルを作成する

ファイルを作成する for i in {0..364} do YYMMDD=$(date --date "20180101 $i days" +%Y%m%d) echo ${YYMMDD} > table01_${YYMMDD}.txt done 作成したファイルを確認する $ ls |head table01_20180101.txt table01_20180102.txt table01_20180103.txt table…

クロスアカウントで s3 cp する

AWS

コピー先アカウントBのS3バケット(az-test-dst)のバケットポリシー { "Version": "2012-10-17", "Statement": [ { "Sid": "Sample", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::012345678901:root" }, "Action": "s3:*", "Resource": [ "arn…

Bootstrap を使ってみる

Bootstrap を使ってみる Download · Bootstrap から Compiled CSS and JS をダウンロードする 解凍すると css と js のディレクトリがあるので同じ階層に HTML を作る。 参考 http://www.atmarkit.co.jp/ait/articles/1403/19/news034_4.html:tilte Bootstra…

cron から AWS CLI を実行してみる

cron から AWS CLI を実行してみたメモ。 cron の設定 $ crontab -l * * * * * /bin/bash /home/ec2-user/jobs/job01.sh job01.sh #!/bin/bash export LANG=C export TZ="Asia/Tokyo" BASE_DIR=$(cd $(dirname $0);pwd) BASE_NAME=$(basename $0) STEM="${BA…

Flask で入力フォームのデータを POST で受け渡す

Flask で入力フォームのデータを POST で受け渡してみた。 メモ Flaskのデフォルトのテンプレートエンジンは jinja2 で HTML と Python のコードを同居させることができる。 テンプレートはアプリケーションルート配下の templtates ディレクトリ以下に置く…

psycopg2 で Pyhton から PostgreSQL に接続する

インストール $ sudo yum -y install gcc $ sudo yum -y install postgresql-contrib $ sudo yum -y install postgresql-devel $ sudo pip install psycopg2 $ sudo pip install psycopg2-binary サンプルコード psycopg2_sample.py import psycopg2 conn = …

Flask でリモートアクセスを許可する

やりたいこと Python の Web フレームワーク Flask で開発したアプリケーションにリモートホストからアクセスしたい。 解決策 Flask のアプリケーションで起動時に "app.run(host='0.0.0.0')" と記述する。 デフォルトでは 127.0.0.1 でリスンしている。 app…