ablog

不器用で落着きのない技術者のメモ

grep の検索結果:

サーバ負荷をシンプルに評価する指標 "sysload"

…ss --cpu `grep -c 'processor' /proc/cpuinfo` & cpustats.py を実行して sys_load_five をモニタリングする。 $ cd ~/sysload/ganglia $ python cpustats.py (中略) value for sys_load is 100.000 value for sys_load_one is 100.000 value for sys_load_five is 25.000 ★ v…

grep でパターンにマッチする・しないファイルをリストする

マッチするファイルのリスト $ grep -l END *.sql マッチしないファイルのリスト $ grep -L END *.sql 参考 » grepのオプションおさらい TECHSCORE BLOG

perf-map-agent 実行時に "AttachNotSupportedException: Unable to open socket file" と怒られる

…$ ps -elf|grep hdfs $ sudo -u hdfs java -cp attach-main.jar:$JAVA_HOME/lib/tools.jar net.virtualvoid.perf.AttachOnce 6362 Exception in thread "main" http://com.sun.tools .attach.AttachNotSupportedException: Unable to open socket file: targe…

PySpark から Parquet ファイル on HFDS にクエリを実行してみる

AWS

…S"), $0}'|grep xvdb > /home/hadoop/iostat-`hostname`-1.log & パターン1 from pyspark.sql.types import * df = sqlContext.read.parquet("/amazon-reviews-pds-az/parquet/") df.createOrReplaceTempView("reviews") print sqlContext.sql("SELECT * FROM rev…

grep でヒットした SQL トレースを tkprof で整形する

$ grep -l foo *.trc|xargs -I{} -n1 tkprof {} {}.tkprof sort=exeela

grep で特定の文字列を含むファイル名だけを表示する

grep で特定の文字列を含むファイル名だけを表示する。 % grep -l foo *.log dtruss.log 参考 grep で特定の文字列が含まれるファイル名だけをリストアップする方法 | ウェブル

macOS上でLinuxアプリケーションをそのまま動作させるアプリ ケーション Noah を使ってみた

…uss.log % grep -C 5 noah dtruss.log 6323/0x112ba: 6904 3 2 read_nocancel(0x6, "##\n# Group Database\n# \n# Note that this file is consulted directly only when the system is running\n# in single-user mode. At other times this information is …

sysbench で MySQL のベンチマークをとる

… > pager egrep -A 5 '^TRANSACTIONS' > show engine innodb status\G TRANSACTIONS ------------ Trx id counter 70715803 Purge done for trx's n:o < 70591422 undo n:o < 0 state: running but idle History list length 666 LIST OF TRANSACTIONS FOR EA…

vmstat でタイムスタンプを表示する

…URL 参照。 » grep, awk, sed でバッファしない方法 TECHSCORE BLOG The GNU Awk User’s Guide: I/O Functions $ vmstat 5|awk '{print strftime("%Y-%m-%d %H:%M:%S"), $0;fflush()}'|tee -a vmstat_20180109.log vmstat を含む procps プロジェクトのソースコードは procps-ng / procps · …

MySQL に gdb でアタッチする

…る ps -elf|grep mysql gdb -p <PID> 参考 MySQLにgdbアタッチするメモ - kenken0807_DBメモ gdb Debugging Full Example (Tutorial): ncurses 詳解 MySQL作者: Sasha Pachev,吉川英興,田中慎司,伊藤直也,菅野良二出版社/メーカー: オライリー・ジャパン発売日: 2007/11/20メディア: 大型本購入: 4人 クリック: 86回この商品を含むブログ (24件)…

macOS Sierra でスワップを無効化する

Mac

…hctl list|grep dynamic_pager - 0 com.apple.dynamic_pager ★ Pager デーモンの自動起動が有効 $ sudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.dynamic_pager.plist $ sudo launchctl list|grep dynamic_pager $ ★Pager デーモンの自動起動が無効になっている リカバリモー…

コアノードから EMRFS への読み書きしているところを strace でシステムコールトレースを取得する

…kdir log pgrep java | while read LINE do sudo ./strace -Ttt -ff -yy -s 1500000 -o log/strace_log -p ${LINE} & done マスターノードで Spark Shell で S3 のファイルを読み書きする。 $ spark-shell scala> val textFile = sc.textFile("s3://az-bucket/input.txt") scala> va…

Linux に psql をインストールする

…$ rpm -qa|grep postgresql postgresql92-9.2.21-1.60.amzn1.x86_64 postgresql92-libs-9.2.21-1.60.amzn1.x86_64 $ which psql /usr/bin/psql 使ってみる Amazon Redshift に接続してみる。 $ psql "host=***.us-east-1.redshift.amazonaws.com user=master dbname=dev po…

AWS CLI 集

AWS

…instances|grep '"DBInstanceIdentifier' "DBInstanceIdentifier": "ar1r9c7i*******" $ aws cloudwatch get-metric-statistics --metric-name CPUUtilization --start-time 2017-07-24T00:00:00+0900 --end-time 2017-07-24T01:00:00+0900 --period 60 --nam…

プロセスがファイルに読み書きしてる内容を覗き見する

… ps -elf|egrep [2]3801 1 S oracle 23801 22232 0 76 0 - 16525 wait 11:03 pts/2 00:00:00 -bash 0 S oracle 23813 23801 0 76 0 - 14732 - 11:03 pts/2 00:00:00 sleep 5 $ ls -l /proc/23801/fd total 0 lrwx------ 1 oracle oinstall 64 Mar 20 11:03 0 …

Oracle Linux 7 でデフォルト起動カーネルを変更する

…エントリを確認 # grep "^menuentry" /boot/grub2/grub.cfg | cut -d "'" -f2 Oracle Linux Server (3.10.0-327.el7.x86_64 with Linux) 7.2 ★RHCK Oracle Linux Server (3.8.13-98.7.1.el7uek.x86_64 with Unbreakable Enterprise Kernel) 7.2 Oracle Linux Server …

tar の解凍結果を -O オプションで標準出力する

….tar.gz | grep 'foo' gzipと違い-Oオプションが--stdoutで、解凍結果を標準出力にだします gzやtar.gzに固められたログをgrepする - kanonjiの日記 tar(1) - Linux manual page NAME top tar - an archiving utility SYNOPSIS top Traditional usage tar {A|c|d|r|t|u|x}[GnSkUWOmpsMBiajJzZhPlRvwo] …

tar.gz を解凍せずにその中の特定ファイルの中身を検索する

… ${LINE}|egrep '^./top_'|xargs -I{} -n1 tar xfz ${LINE} -O {}|perl -snle '/top - ([\d:]+)/ and $t=$1;/java/ and print qq/$file $t $_/' -- -file=$LINE done > out.txt 参考 http://d.hatena.ne.jp/kanonji/20110816/1313476218 http://man7.org/linux/…

nfsiostat で NFS の I/O レイテンシや IOPS を調べる

…stat 2>&1|grep /proc open("/proc/meminfo", O_RDONLY|O_CLOEXEC) = 3 open("/proc/self/mountstats", O_RDONLY) = 3 ★ ソースコード より #!/usr/bin/python # -*- python-mode -*- """Emulate iostat for NFS mount points using /proc/self/mountstats ★ """ ... …

strace の -y や -yy でFD番号と共にファイルパスやIPアドレス・ポート番号を表示する

…strace -h|grep '\-y' -y print paths associated with file descriptor arguments -yy print protocol specific information associated with socket file descriptors 実行例 -y でFD番号とともにファイルパスを表示する $ ./strace -y ls > /dev/null execve("/bin/ls", ["ls"],…

よく使う strace のオプション

… $ ps -ef|grep [t]nslsnr oracle 55447 1 0 Feb09 ? 00:04:00 /u01/app/12.1.0.2/grid/bin/tnslsnr MGMTLSNR -no_crs_notify -inherit oracle 56996 1 0 Feb09 ? 00:33:21 /u01/app/12.1.0.2/grid/bin/tnslsnr LISTENER_SCAN3 -no_crs_notify -inherit oracl…

perf-map-agent で Java のプロセスにアタッチすると AttachNotSupportedException が発生する

… $ ps -ef|grep java $ java -cp attach-main.jar:$JAVA_HOME/lib/tools.jar net.virtualvoid.perf.AttachOnce <PID> (中略) Caused by: com.sun.tools.attach.AttachNotSupportedException: Unable to open socket file: target process not responding or Hot…

実行中のマルチスレッドプログラムの特定スレッドのみ停止(SIGSTOP的な)させる方法

…grid -lLf|grep css$ gdb -p 3449-> LWP:3449 のステータスが t になりました— yohei-a (@yoheia) 2016年3月29日@yoheia gdb -iex="set non-stop on" -iex="set target-async on" -p プロセス して cont -a してから特定プロセスを interrupt してもいいですね。こちらのほうが自由にスレッド間を行き来できていいかも。— Tsukasa Ha…

Oracle GoldenGate 12.1.2.0.0 を使ってみる

…]$ ps -ef|grep [g]g oracle 9933 9923 0 01:30 ? 00:00:00 /u01/Middleware/OGG_Source/ggcmd PARAMFILE /u01/Middleware/OGG_Source/dirprm/jagent.prm REPORTFILE /u01/Middleware/OGG_Source/dirrpt/JAGENT.rpt PROCESSID JAGENT USESUBDIRS oracle 9966 …

WebLogic Server の実行スレッド以外のスレッドの数を調べてみた

…OFF)の場合 $ grep '^\"' wls12120_thread_dump_2cpu_20160124.log|wc -l 33 $ grep '^\"' wls12120_thread_dump_2cpu_20160124.log|grep -v weblogic.kernel.Default|wc -l 28 $ grep '^\"' wls12120_thread_dump_2cpu_20160124.log|sort "[ACTIVE] ExecuteThre…

hugepages_settings.sh 使うときは PRE_PAGE_SGA=TRUE にしたほうが良いと思う

…e HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}` # Start from 1 pages to be on the safe side and guarantee 1 free HugePage NUM_PG=1 # Cumulative number of pages required to handle the running shared memory segments for SEG_BYTE…

DBサーバの空きメモリサイズの見方(Oracle Database on Linux)

… for easy grepping and expansion. */ seq_printf(m, "MemTotal: %8lu kB\n" "MemFree: %8lu kB\n" + "MemAvailable: %8lu kB\n" "Buffers: %8lu kB\n" "Cached: %8lu kB\n" "SwapCached: %8lu kB\n" @@ -105,6 +141,7 @@ static int meminfo_proc_show(stru…

vm.min_free_kbytes からの wmark_{min|low|high} 算出式

…sysctl -a|grep min_free_kbytes vm.min_free_kbytes = 16114 ★ min_free_kbytes = 16,114 KB $ cat /proc/zoneinfo Node 0, zone DMA pages free 3976 min 3 ★ min_pages = 3 * 4KB = 12 KB low 3 ★ low_pages = 3 * 4KB = 12 KB high 4 ★ high_pages = 4 * …

pgrep で子プロセスの PID を調べる

…0 ├─pstree,14216 -alp 13840 ├─zsh,13940 │ └─sleep,14213 10 └─zsh,13992 └─sleep,14215 10 シェルスクリプトで子プロセスの PID を取得して何か自動処理したいときには pgrep が便利そう。 P: 親プロセスの PID を指定 d: デリミタを指定 $ pgrep -d: -P $$ 13940:13992 参考 子プロセスのプロセスIDを取得するコマンド - アウトプットができる技術者に

”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由

….txt 2>&1|grep -C2 fadvise open("sample.txt", O_RDONLY) = 3 fstat(3, {st_mode=S_IFREG|0664, st_size=2800000000, ...}) = 0 fadvise64(3, 0, 0, POSIX_FADV_SEQUENTIAL) = 0 ioctl(3, SNDCTL_TMR_TIMEBASE or TCGETS, 0x7fffa7cb3930) = -1 ENOTTY (Ina…