ablog

不器用で落着きのない技術者のメモ

grep の検索結果:

YCSB から VPC エンドポイント経由で Amazon Keyspaces に負荷をかける

AWS

…stat -alp|grep ':9142 ESTABLISHED'|head -10 (Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.) tcp6 0 0 ip-172-31-26-19.a:45338 ip-172-31-30-103.a:9142 ESTABLISHED 490…

Datastax Java Driver for Apache Cassandra でAmazon KeySpaces へのコネクションプールの数を設定する

AWS

…stat -tpW|grep cassandra.ap-northeast-1 tcp6 0 0 ip-172-17-3-232.ap-northeast-1.compute.internal:45648 cassandra.ap-northeast-1.amazonaws.com:9142 ESTABLISHED 31799/java tcp6 0 0 ip-172-17-3-232.ap-northeast-1.compute.internal:34640 cassand…

grep で特定のディレクトリを対象外にしたい場合

log ディレクトリ以外を対象として grep する例。 $ grep -Ri --exclude-dir log cassandra * 参考 grepコマンドで特定のディレクトリを検索対象から除外する | 晴耕雨読

RHEL 8.6 の起動・停止スクリプトをデバッグする

…EVEL=1 ++ grep --quiet -e '\(/dev/ttyS\|not a tty\)' ++ LANG=C ++ tty ++ __sed_discard_ignored_files='/\(~\|\.bak\|\.old\|\.orig\|\.rpmnew\|\.rpmorig\|\.rpmsave\)$/d' ++ '[' 1 = 1 ']' ++ '[' xstart = xstart -o xstart = xstop -o xstart = xre…

tdbench を利用する

…$ ps -elf|grep tdbench 0 T ec2-user 4194 3749 0 80 0 - 1865846 - 12:21 pts/0 00:00:02 java -jar tdbench8.0.jar 0 S ec2-user 12176 12153 83 80 0 - 2271745 - 12:35 pts/1 00:13:10 java -jar tdbench8.0.jar 0 S ec2-user 15403 2999 0 80 0 - 29858…

find -exec grep で DDL から partition 句を抽出する

テーブル名がファイル名に含まれる1テーブル=1ファイルのファイルから partition 句だけを抽出したコマンドをメモ。 find . -iname '*table1*' -exec grep -A 10 -i 'partition' '{}' \;|perl -pe 's/^.*\.sql(:|-)//g' 参考 findとgrepで使われるexecオプションの使い方

ハイフンを含む文字列を grep する

ハイフンを含む文字列を grep しようとすると "invalid option" と怒られた。オプションに "--" を指定するといける。 $ grep -A 4 -- '-- query id:' query_perf.log 参考 逆引きUNIXコマンド/grepでハイフン付のキーワードを検索する方法 - Linuxと過ごす

ApacheでPHPのソースが表示される

PHP

… rpm -qa |grep php php-json-7.2.34-1.amzn2.x86_64 php-cli-7.2.34-1.amzn2.x86_64 php-common-7.2.34-1.amzn2.x86_64 php-pdo-7.2.34-1.amzn2.x86_64 php-fpm-7.2.34-1.amzn2.x86_64 php-7.2.34-1.amzn2.x86_64 ★ php-mysqlnd-7.2.34-1.amzn2.x86_64 php-m…

AWS CLI の s3 cp/sync は自動的にチェックサムでデータ整合性チェックしている

AWS

…rse/ 2>&1|grep -i content-md5 2021-07-13 13:03:45,760 - Thread-3 - botocore.endpoint - DEBUG - Making request for OperationModel(name=UploadPart) with params: {'body': <s3transfer.utils.ReadFileChunk object at 0x7fb15830a650>, 'url': u'http…

マネコンで別アカウントに SwitchRole 時のイベントは us-east-1 に記録される

AWS

…|xargs -0 grep -l a3a42af4-0c3b-4654-9894-5d618767ee18 ./234567890123_CloudTrail_us-east-1_20200430T1110Z_eP2ntD241s6Psiy1.json 234567890123_CloudTrail_us-east-1_20200430T1110Z_eP2ntD241s6Psiy1.json を開く (中略) { "eventVersion": "1.05", "userI…

Amazon Linux2 で Off-CPU Analysis を行う

AWS

… -df -p `pgrep -nx top` 60 > top_out.stacks $ ./flamegraph.pl --color=io --title="Off-CPU Time Flame Graph" --countname=us < top_out.stacks > top_out.svg top_out.svg をブラウザで開く。 参考 Off-CPU Analysis bcc/INSTALL.md at master · iovisor/bcc · Git…

AWS App Mesh Workshop をやってみた

AWS

…ocument | grep region | cut -d\" -f4) cat > /tmp/eks-configuration.yml <<-EKS_CONF apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig metadata: name: $STACK_NAME region: $AWS_REGION vpc: subnets: private: $PRIVSUB1_AZ: { id: $PRIVSUB1_ID } …

Session Manager のログ

AWS

…# ps -elf|grep [s]sm- 4 S root 30299 1 0 80 0 - 164149 - 04:23 ? 00:00:00 /usr/bin/amazon-ssm-agent 4 S root 30404 30299 0 80 0 - 138868 wait_w 04:27 ? 00:00:00 /usr/bin/ssm-session-worker az...-...-... 4 S ssm-user 30420 30404 0 80 0 - 288…

Presto の JVM の起動オプションは /etc/presto/conf/jvm.config で設定できる

…$ ps -lef|grep PreserveFramePointer 0 S presto★ 13581 1 64 80 0 - 59017507 - 00:08 ? 00:00:29 java -cp /usr/lib/presto/lib/* -verbose:class -server -Xmx214026810294 -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+ExplicitGCInvokesConcurrent -XX:…

iostat の avgrq-sz(average request size)の単位はセクタ数

…me0n1p1 | grep 'Sector size' Sector size (logical/physical): 512 bytes / 512 bytes ★セクタサイズ 補足 最新バージョンでは KB になっている。 .B areq-sz .RS The average size (in kilobytes) of the I/O requests that were issued to the device. .br Note: In previous vers…

Presto で Parquet にクエリすると、参照するカラムのみ読んでいることを確認した

…tctl list|grep hadoop hadoop-mapreduce-historyserver start/running, process 19605 hadoop-yarn-timelineserver start/running, process 18124 hadoop-kms start/running, process 9781 hadoop-yarn-resourcemanager start/running, process 18294 hadoop…

JREに同梱されている証明書を確認する

…明書を確認する $ grep amazon cacerts_list.txt amazonrootca4, Nov 16, 2018, trustedCertEntry, amazonrootca3, Nov 16, 2018, trustedCertEntry, amazonrootca2, Nov 16, 2018, trustedCertEntry, amazonrootca1, Nov 16, 2018, trustedCertEntry, cacerts の実体のあ…

サーバ負荷をシンプルに評価する指標 "sysload"

…ss --cpu `grep -c 'processor' /proc/cpuinfo` & cpustats.py を実行して sys_load_five をモニタリングする。 $ cd ~/sysload/ganglia $ python cpustats.py (中略) value for sys_load is 100.000 value for sys_load_one is 100.000 value for sys_load_five is 25.000 ★ v…

grep でパターンにマッチする・しないファイルをリストする

マッチするファイルのリスト $ grep -l END *.sql マッチしないファイルのリスト $ grep -L END *.sql 参考 » grepのオプションおさらい TECHSCORE BLOG

perf-map-agent 実行時に "AttachNotSupportedException: Unable to open socket file" と怒られる

…$ ps -elf|grep hdfs $ sudo -u hdfs java -cp attach-main.jar:$JAVA_HOME/lib/tools.jar net.virtualvoid.perf.AttachOnce 6362 Exception in thread "main" http://com.sun.tools .attach.AttachNotSupportedException: Unable to open socket file: targe…

PySpark から Parquet ファイル on HFDS にクエリを実行してみる

AWS

…S"), $0}'|grep xvdb > /home/hadoop/iostat-`hostname`-1.log & パターン1 from pyspark.sql.types import * df = sqlContext.read.parquet("/amazon-reviews-pds-az/parquet/") df.createOrReplaceTempView("reviews") print sqlContext.sql("SELECT * FROM rev…

grep でヒットした SQL トレースを tkprof で整形する

$ grep -l foo *.trc|xargs -I{} -n1 tkprof {} {}.tkprof sort=exeela

grep で特定の文字列を含むファイル名だけを表示する

grep で特定の文字列を含むファイル名だけを表示する。 % grep -l foo *.log dtruss.log 参考 grep で特定の文字列が含まれるファイル名だけをリストアップする方法 | ウェブル

macOS上でLinuxアプリケーションをそのまま動作させるアプリ ケーション Noah を使ってみた

…uss.log % grep -C 5 noah dtruss.log 6323/0x112ba: 6904 3 2 read_nocancel(0x6, "##\n# Group Database\n# \n# Note that this file is consulted directly only when the system is running\n# in single-user mode. At other times this information is …

sysbench で MySQL のベンチマークをとる

… > pager egrep -A 5 '^TRANSACTIONS' > show engine innodb status\G TRANSACTIONS ------------ Trx id counter 70715803 Purge done for trx's n:o < 70591422 undo n:o < 0 state: running but idle History list length 666 LIST OF TRANSACTIONS FOR EA…

vmstat でタイムスタンプを表示する

…URL 参照。 » grep, awk, sed でバッファしない方法 TECHSCORE BLOG The GNU Awk User’s Guide: I/O Functions $ vmstat 5|awk '{print strftime("%Y-%m-%d %H:%M:%S"), $0;fflush()}'|tee -a vmstat_20180109.log vmstat を含む procps プロジェクトのソースコードは procps-ng / procps · …

MySQL に gdb でアタッチする

…る ps -elf|grep mysql gdb -p <PID> 参考 MySQLにgdbアタッチするメモ - kenken0807_DBメモ gdb Debugging Full Example (Tutorial): ncurses 詳解 MySQL作者: Sasha Pachev,吉川英興,田中慎司,伊藤直也,菅野良二出版社/メーカー: オライリー・ジャパン発売日: 2007/11/20メディア: 大型本購入: 4人 クリック: 86回この商品を含むブログ (24件)…

macOS Sierra でスワップを無効化する

Mac

…hctl list|grep dynamic_pager - 0 com.apple.dynamic_pager ★ Pager デーモンの自動起動が有効 $ sudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.dynamic_pager.plist $ sudo launchctl list|grep dynamic_pager $ ★Pager デーモンの自動起動が無効になっている リカバリモー…

コアノードから EMRFS への読み書きしているところを strace でシステムコールトレースを取得する

…kdir log pgrep java | while read LINE do sudo ./strace -Ttt -ff -yy -s 1500000 -o log/strace_log -p ${LINE} & done マスターノードで Spark Shell で S3 のファイルを読み書きする。 $ spark-shell scala> val textFile = sc.textFile("s3://az-bucket/input.txt") scala> va…

Linux に psql をインストールする

…$ rpm -qa|grep postgresql postgresql92-9.2.21-1.60.amzn1.x86_64 postgresql92-libs-9.2.21-1.60.amzn1.x86_64 $ which psql /usr/bin/psql 使ってみる Amazon Redshift に接続してみる。 $ psql "host=***.us-east-1.redshift.amazonaws.com user=master dbname=dev po…