ablog

不器用で落着きのない技術者のメモ

git の検索結果:

サーバ負荷をシンプルに評価する指標 "sysload"

…y install git stress $ git clone https://github.com/gree/sysload.git CPU負荷をかけてモニタリングしてみる CPUに負荷をかける。 $ stress --cpu `grep -c 'processor' /proc/cpuinfo` & cpustats.py を実行して sys_load_five をモニタリングする。 $ cd ~/sysload/ganglia $ python cpustats.py…

Presto でParquet にクエリするとjava.lang.UnsupportedOperationException: com.facebook.presto.spi.type.LongDecimalType

…s @nezihyigitbasi - so Decimals(>17,x) weren't supported in 0.164 https://github.com/prestodb/presto/issues/8484 presto/AbstractType.java at master · prestodb/presto · GitHub @Override public void writeLong(BlockBuilder blockBuilder, long v…

CloudFormation で EMR クラスター作成時に Presto の S3 Select Pushdown を有効化する

AWS

…nfiguration, ... ] } YAML Classification: String ConfigurationProperties: 文字列: 文字列 Configurations: - Configuration Amazon EMR クラスターの設定 - AWS CloudFormation https://github.com/awslabs/aws-cloudformation-templates/tree/master/aws/services/EMR

Parquet ファイルに Presto でクエリ時の Column Projection について調べた

…l cmake $ git clone --depth=1 https://github.com/jrudolph/perf-map-agent $ cd perf-map-agent $ cmake . $ make FlameGraph $ git clone https://github.com/brendangregg/FlameGraph $ chmod +x FlameGraph/*.pl $ vi ~/.bashrc export FLAMEGRAPH_DIR=…

Presto で Parquet にクエリするとファイル中の必要な Column chunk のみを読んでいるか

Presto から見ると (parquetの)page単位で IO して、HDFS の API を叩いて、HDFS は DSDataInputStream とかで読んで、OSレイヤーからみると sendfile(2) で xfs などのファイルシステムのファイルを読んでということになってるのではないかと推察。— yohei.az (@yoheia) 2018年10月9日 1)flame graphでhdfsのioシステムコールを発行元コールスタックを特定2)straceでio…

perf-map-agent 実行時に "AttachNotSupportedException: Unable to open socket file" と怒られる

…l cmake $ git clone --depth=1 https://github.com/jvm-profiling-tools/perf-map-agent $ cd perf-map-agent $ cmake . $ make $ cd out /etc/hadoop/conf/ 以下の hadoop-env.sh, yarn-env.sh にexport HADOOP_OPTS="... -XX:+PreserveFramePointer" export YA…

EC2に Netflix Vector をインストールしてみた

AWS

…y install git flex bison libmicrohttpd libmicrohttpd-devel http-parser atlas-sse3-devel $ git clone https://github.com/performancecopilot/pcp.git $ cd pcp $ ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --with-webapi $ su…

Oracle->PostgreSQL移行関連

…architect.github.io/articles/20180529/ https://pgecons-sec-tech.github.io/tech-report/ https://enterprisezine.jp/dbonline/detail/7181 OSS系データベース、クラウド・データベースへ脱Oracleへの実現方法 from Climb, Inc. NTT DATA と PostgreSQL が挑んだ総力戦 from NTT DATA OSS Prof…

Prestoでparquetファイルにクエリをかける

…ategory=Digital_Ebook_Purchase drwxr-xr-x - hadoop hadoop 0 2018-09-29 20:15 /amazon-reviews-pds/parquet/product_category=Digital_Music_Purchase drwxr-xr-x - hadoop hadoop 0 2018-09-29 20:15 /amazon-reviews-pds/parquet/product_category=Digi…

HDFS の I/O サイズ

…} https://github.com/cloudera/hadoop-common/blob/cdh5.4.5-release/hadoop-hdfs-project/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/DistributedFileSystem.java#L294-L303 これは, 各 Mapper は独立にシーケンシャル I/O をバッファサイズ単位(注4)で発行しているため, ディスクドライブに対しては…

Cloudera Altus Director でクラスターの作成に失敗する

…3) at com.github.rholder.retry.AttemptTimeLimiters$NoAttemptTimeLimit.call(AttemptTimeLimiters.java:78) at com.github.rholder.retry.Retryer.call(Retryer.java:160) at com.cloudera.launchpad.pipeline.util.PipelineRunner.attemptMultipleJobExec…

Cloudera Altus Director でクラスターの作成中に " java.net.ConnectException: Connection refused" と怒られる

…3) at com.github.rholder.retry.AttemptTimeLimiters$NoAttemptTimeLimit.call(AttemptTimeLimiters.java:78) at com.github.rholder.retry.Retryer.call(Retryer.java:160) at com.cloudera.launchpad.pipeline.util.PipelineRunner.attemptMultipleJobExec…

Cloudera Altus Director を使ってみる

…して原因を調べる。他にも必要に応じて /usr/local/Cellar/cloudera-director-server/6.0.0/libexec/logs/*.log、usr/local/Cellar/cloudera-director-client/6.0.0/libexec/logs/*.log を確認する。 参考 https://github.com/takabow/homebrew-cloudera Ports Used by Cloudera Director

AWS Glue の Zeppelin ノートブックで PySpark を実行して CSV を加工してみた

AWS

…a https://github.com/aws-samples/aws-glue-samples/blob/master/examples/data_cleaning_and_lambda.py https://gist.github.com/crawles/b47e23da8218af0b9bd9d47f5242d189 ZeppelinでAWS BillingのCSVを分析する | レコチョクのエンジニアブログ AWS Glue の基本的な使い方 - Qoosky py…

Spark の RDD、DataFrame、DAG と Glue の DynamicFrame などについて

AWS

…る https://github.com/apache/spark https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark Spark の歴史 Apache Spark入門 動かして学ぶ最新並列分散処理フレームワーク (NEXT ONE)作者: 株式会社NTTデータ,猿田浩輔,土橋昌,吉田耕陽,佐々木徹,都築正宜,下垣徹出版社/メーカー: 翔泳社発売日: 2015/10/…

Athena に JDBC Driver 経由で接続してクエリを発行する

AWS

…s https://github.com/aws/aws-sdk-java/blob/master/aws-java-sdk-core/src/main/java/com/amazonaws/AmazonWebServiceRequest.java /* * Copyright 2010-2018 Amazon.com, Inc. or its affiliates. All Rights Reserved. * * Licensed under the Apache Lic…

VPCフローログのサイズがどの程度になるか

AWS

…y install git gcc $ git clone https://github.com/esnet/iperf $ cd iperf $ ./configure $ sudo make $ sudo make install $ sudo ldconfig iperf でサーバ側にする EC2 のセキュリティグループでクライアント側のEC2のIPからの通信を許可する。 検証実施 iperf で1時間ネットワーク通信を行う。 サーバ側 $ iperf -s クライアン…

Amazon Redshift でロックを保持しているセッションとロック待ちしているセッションを確認する方法

AWS

Redshift でロックを保持しているセッションとロック待ちしているセッションは lock_wait.sql で確認すると便利。マネジメントコンソールで Redshift の「クエリ」タブではロックを保持しているクエリは表示されるがロック待ちしているクエリは表示されない。 準備 テーブルを作成してレコードを insert する。 CREATE TABLE testtab1(id int primary key, name varchar(32)); INSERT INTO …

Amazon Redshift で awslabs の amazon-redshift-utils/AdminViews を一括作成する

AWS

…y install git $ sudo yum -y install postgresql GitHub からスクリプトを入手する $ git clone https://github.com/awslabs/amazon-redshift-utils.git ビューを作成する create view スクリプトのあるディレクトリに移動する $ cd amazon-redshift-utils/src/AdminViews ビュー一括作成スクリプトを作成する $ ls -t…

Amazon Redshift に重いクエリを同時多重実行しながら性能情報を見る

AWS

…をかける EC2に git、psql、pgbench をインストールする $ sudo yum -y install postgresql96 $ sudo yum -y install postgresql96-contrib $ sudo yum -y install git Redshift で負荷かけの準備を行う EC2 から Redshift にスーパーユーザーで接続する $ psql "host=ds28xl4n.******.us-west-2.redshift…

Amazon ECS を使ってみる

AWS

…: go1.9.4 Git commit: 3dfb8343b139d6342acfd9975d7f1068b5b1c3d3 Built: Tue Apr 3 23:37:44 2018 OS/Arch: linux/amd64 Server: Engine: Version: 17.12.1-ce API version: 1.35 (minimum version 1.12) Go version: go1.9.4 Git commit: 7390fc6/17.12.1-…

MongoDB に YCSB でベンチマークをかけてみる

…y install git mongodb-org JDK 1.8 $ sudo yum -y install java-1.8.0-openjdk-devel $ sudo update-alternatives --config java There are 2 programs which provide 'java'. Selection Command ----------------------------------------------- *+ 1 /usr…

YCSB をビルドしようとすると "invalid target release: 1.8" と怒られる

… と怒られる。 $ git clone https://github.com/brianfrankcooper/YCSB.git $ mvn clean package Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project hm_app: Fatal error compiling: invalid targe…

AWS SDK for Python を使ってみる

…は https://github.com/boto/boto3/issues/1023boto = Amazon river dolphin issue の会話を読んでいくと、アマゾン川に生息する アマゾンカワイルカ にちなんで boto と名付けられたみたい。 https://reboooot.net/post/why-boto/ Boto is a Portuguese name given to several types of dolphins and river d…

Flask でリモートアクセスを許可する

…と記述する。 デフォルトでは 127.0.0.1 でリスンしている。 app.run(host='0.0.0.0') 関連 Python の Web フレームワーク Flaskを使ってみる - ablog 参考 python - Configure Flask dev server to be visible across the network - Stack Overflow https://genkami.github.io/2017/05/07/004214.html

Netflix のオープンソース可視化ツール FlameScope を使ってみた

…ストールする。 $ git clone https://github.com/Netflix/flamescope $ cd flamescope $ sudo pip install -r requirements.txt 使ってみる EC2 で perf で性能情報を取得しつつ openssl で負荷をかける perf で性能情報を収集する $ sudo perf record -F 49 -a -g -- sleep 120 $ sudo perf script --h…

AWR Formatter を使ってみた

…わってますね。 インストール % git clone https://github.com/anjuls/AWR-Format.git Chrome で [その他のツール]-[拡張機能]を選択する。 [パッケージ化されていない拡張機能を読み込む]を選択し、ダウンロードした Github/Source を選択する。 使い方 Chrome で AWRレポート(HTML)を開く。 メニューで [Format AWR] をクリックする。 環境 macOS Sierra 10.12.6

macOS上でLinuxアプリケーションをそのまま動作させるアプリ ケーション Noah を使ってみた

…構 https://github.com/linux-noah/noah Open Source Summit Japan: Noah: Hypervisor-Based Darwin Subsystem... https://events.static.linuxfound.org/sites/events/files/slides/Noah%20Hypervisor-Based%20Darwin%20Subsystem%20for%20Linux.pdf CPU実験で自作…

awslabs の Redshift の AdminViews を作成する

…スを取得する。 $ git clone https://github.com/awslabs/amazon-redshift-utils.git 実行スクリプトを作成する $ cat <EOF > create_all_views.sql \i v_check_data_distribution.sql \i v_check_transaction_locks.sql \i v_check_wlm_query_time.sql \i v_check_wlm_query_tre…

Amazon Linux で iperf を使ってみる

AWS

…y install git gcc $ git clone https://github.com/esnet/iperf $ cd iperf $ ./configure $ sudo make $ sudo make install $ sudo ldconfig 計測 サーバ側 $ iperf3 -s ----------------------------------------------------------- Server listening on 5201 -…