ablog

不器用で落着きのない技術者のメモ

ディレクトリ の検索結果:

Parquet ファイルに Presto でクエリ時の Column Projection について調べた

…su - hdfs ディレクトリを作成する。 $ hadoop fs -mkdir /amazon-reviews-pds データを S3 から HDFS にコピーする。 $ nohup s3-dist-cp --src s3://amazon-reviews-pds/ --dest /amazon-reviews-pds & コピーされたファイルを確認する。 $ hadoop fs -ls -R -h /amazon-reviews-pds/ 外部テーブルを定義する。 hi…

perf-map-agent 実行時に "AttachNotSupportedException: Unable to open socket file" と怒られる

…べてみた。 カレントディレクトリを perf-map-agent/out にして、 $ cd /home/hadoop/perf-map-agent/out DoWhileTrueJava.java を作成して public class DoWhileTrueJava { public static void main(String[] args) throws InterruptedException { System.out.println("Start Processi…

HDFS の下の OS レイヤーを覗いてみる

…t/hdfs 以下のディレクトリ階層 [root@ip-***-**-*-133 hdfs]# tree -d /mnt/hdfs /mnt/hdfs └── current └── BP-747367826-172.31.6.167-1537719042716 ├── current │   ├── finalized │   │   └── subdir0 │   │   …

PySpark から Parquet ファイル on HFDS にクエリを実行してみる

AWS

…com HDFS にディレクトリを作成して S3 からデータをコピーする。 $ hadoop fs -mkdir /amazon-reviews-pds-az/ $ s3-dist-cp --src s3://amazon-reviews-pds/ --dest /amazon-reviews-pds-az/ コピーしたファイルを確認する。 $ hadoop fs -ls -h -R /amazon-reviews-pds-az 実行 以下のコードを実行する。 from py…

「AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する」をやってみた

AWS

… AWSGlueServiceRole-Default 一時ディレクトリ: デフォルトのまま Athena でクエリ実行 データベースで cloudtrail を選択する 以下のクエリを実行する select * from cloudtrail.parquettrails where eventtime > '2017-10-23T12:00:00Z' AND eventtime < '2017-10-23T13:00:00Z' order by eventtime asc;

Active Directory のアカウントで AWSマネジメントコンソールにログインする

AWS

…ry サービス) でディレクトリとユーザーを作成し、Active Directory ユーザーで認証してAWSマネジメントコンソールに SSO でログインしてみた。 設定手順 ディレクトリの作成 AWSマネジメントコンソールにログインして、[Directory Service] をクリックする [ディレクトリのセットアップ] をクリックし、ウイザードに従って以下の通りディレクトリを作成する ディレクトリタイプの選択: Simple AD ディレクトリ情報の入力 ディレクトリの…

Amazon Redshift で awslabs の amazon-redshift-utils/AdminViews を一括作成する

AWS

…w スクリプトのあるディレクトリに移動する $ cd amazon-redshift-utils/src/AdminViews ビュー一括作成スクリプトを作成する $ ls -tr v_*.sql|perl -nle 'print qq/\\i $_/' > create_all_views.sql Redshift にスーパーユーザーで接続する $ psql "host=ds28xl4n.********.us-west-2.redshift.amazonaws.com u…

コンテナ について

…破損したOSのルートディレクトリを適当な名前のディレクトリ(/mnt/sysimageなど)にマウントすることに成功すれば、そのディレクトリにchrootを実行することで、破損したOSのルートディレクトリに遷移できます。これにより、起動不能だったOSのコマンド群を使えるようになり、復旧作業を行うことができます。 また、セキュリティの面においても「ハニーポット(蜜の壺/おとりサーバ)」と呼ぶクラッカー対策にchrootが利用されます。現在(2015年)では、chrootを使った…

Bootstrap を使ってみる

Bootstrap を使ってみる Download · Bootstrap から Compiled CSS and JS をダウンロードする 解凍すると css と js のディレクトリがあるので同じ階層に HTML を作る。 参考 http://www.atmarkit.co.jp/ait/articles/1403/19/news034_4.html:tilte Bootstrapで業務Webアプリのカッコいい入力フォームを作る (1/2):CodeZine(コードジン)

Flask で入力フォームのデータを POST で受け渡す

…empltates ディレクトリ以下に置く。 スクリーンショット 構成 ディレクトリ構成 $ tree flask flask ├── hello.py └── templates ├── confirm.html └── form.html 1 directory, 3 files hello.py from flask import Flask, render_template, request app = Flask(__name__) @app.route('/') …

Python の Web フレームワーク Flaskを使ってみる

…all Flask ディレクトリを作成する mkdir flask cd flask Hello World プログラムを作る hello.py from flask import Flask app = Flask(__name__) @app.route('/') def hello(): name = "Hello World" return name @app.route('/good') def good(): name = "Good" return name i…

Amazon Linux で MySQL 5.6.10 をデバッグモードでビルドする手順

…補足 ソースコードのディレクトリ構成 $ sudo yum -y install tree $ tree -d -L 1 . ├── BUILD ├── client ├── cmake ├── CMakeFiles ├── cmd-line-utils ├── dbug ├── Docs ├── extra ├── include ├── libevent ├── libmysql ├── libmysqld ├── libservices ├── man ├── mysq…

MySQL に gdb でアタッチする

… kenken0807_DBメモ gdb Debugging Full Example (Tutorial): ncurses 詳解 MySQL作者: Sasha Pachev,吉川英興,田中慎司,伊藤直也,菅野良二出版社/メーカー: オライリー・ジャパン発売日: 2007/11/20メディア: 大型本購入: 4人 クリック: 86回この商品を含むブログ (24件) を見る Source Code Directory Layout にソースコードのディレクトリ構成の説明がある

AWRレポートを CSV に変換する手順

…Rレポートの存在するディレクトリに移動する。 $ cd awrrep AWRレポートを CSV に変換する。 $ python ../awrhtml2csv.py *.html 変換後のファイルを確認する。 $ ls -1 *.csv events_background.csv events_foreground.csv events_topn.csv inst_efficiency.csv load_profile.csv parameters.csv seg_logica…

Amazon Redshift からテーブル作成DDLを自動生成する

…dl.sql があるディレクトリに移動する。 $ cd amazon-redshift-utils/src/AdminViews Redshift クラスターに接続する $ psql "host=******.******.ap-northeast-1.redshift.amazonaws.com user=master dbname=mydb port=5439" Password: psql (9.6.2, server 8.0.2) SSL connection (pr…

AWS クラウドアーキテクチャのベストプラクティス

AWS

…カウントの一元管理 ディレクトリサービス Simple AD Samba 4 Active Directory 互換 5000人未満 Workspaces のアカウント管理など AWS Directory Service for Microsoft Active Directory AD Connector オンプレのADに接続 ネットワーク VPCエンドポイント S3 DynamoDB(プレビュー) EC2のネットワークパフォーマンス SR-IOV 拡張ネットワーキング プ…

pyenv で Python のバージョンを切替えて使う

… するとそのカレントディレクトリに反映される。一度、設定すると永続化される。 インストールされているバージョンを確認する $ pyenv versions system * 2.7.13 (set by /Users/******/.pyenv/version) 3.5.0 3.5.0 に切替える $ pyenv global 3.5.0 $ pyenv version 3.5.0 (set by /Users/*******/.pyenv/version) 2.7.13 に…

macOS Sierra に node.js をインストールした

Mac

…g の問題があるためディレクトリを作成している $ mkdir -p ~/.nodebrew/src $ nodebrew install-binary latest 最新バージョンを使えるようにする $ nodebrew list v7.8.0 current: none $ nodebrew use v7.8.0 use v7.8.0 $ nodebrew list v7.8.0 current: v7.8.0 ~/.bashrc 作成 export PATH=$PATH…

macOS Sierra に node.js をインストールしようとすると、No such file or directory で失敗する

…ar.gz 解決策 ディレクトリ ~/.nodebrew/src を作成すると $ mkdir -p ~/.nodebrew/src 成功 $ nodebrew install-binary latest Fetching: https://nodejs.org/dist/v7.8.0/node-v7.8.0-darwin-x64.tar.gz ##################################################################…

SQLHCのススメ

… DBサーバの任意のディレクトリで SQLHC を解凍する $ unzip sqlhc.zip Archive: sqlhc.zip creating: sqlhc/ inflating: sqlhc/sqlhc.sql inflating: sqlhc/sqldx.sql inflating: sqlhc/sqlhcxec.sql $ cd sqlhc データベースにログインし、SQLHC を実行する $ sqlplus / as sysdba SQL> @sqlhc T …

Oracle Linux 6 でブロックデバイスとWWIDの対応を調べる

…sk/by-id/ ディレクトリー内で管理されているシムリンクで確認できます。 例25.3 WWID たとえば、 ページ 0x83 の識別子を持つデバイスには次があります。 scsi-3600508b400105e210000900000490000 -> ../../sda ページ 0x80 の識別子を持つデバイスには次があります。 scsi-SSEAGATE_ST373453LW_3HW1RHM6 -> ../../sda 25.3. 永続的な命名 - Red Hat C…

Windows で Java Mission Control(JMC) のヒープサイズを変更する

…JDKのインストールディレクトリ\bin\jmc.ini の -vmargs のセクションに -XX:InitialHeapSize(=-Xms)、-XX:MaxHeapSize(=-Xmx) を追記する。 -startup ../lib/missioncontrol/plugins/org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar --launcher.library ../lib/missioncontrol/pl…

SQLテスト・ケース・ビルダーで再現ケースを作成する

…_DIR', /* ディレクトリオブジェクトを指定 */ sql_id => 'a5ks9fhw2v9s1', plan_hash_value => 1001824601, exportData => FALSE, exportPkgbody=>TRUE, testcase_name => 'tc_a5ks9fhw2v9s1_272002086_', testcase => V_TESTCASE); END; / テストケースを圧縮回収する select DIRECTORY_…

Oracle Database でSQLトレースを取得する方法

…例 トレースの出力先ディレクトリを確認する。 SQL> select value from V$DIAG_INFO where name = 'Diag Trace'; VALUE ---------------------------------------------------- /u01/app/oracle/diag/rdbms/orcl/orcl1/trace 初期化パラメータの値を確認する。 SQL> show parameters MAX_DUMP_FILE_…

GitHub for Windows をインストールした

…を選択し、 ローカルディレクトリを選択する。 クローン完了。 ファイルを追加・commit、clone する。 クローンしたディレクトリにファイルを追加する。 Summary、Description にコメントを書いて [Commit to master]をクリックし、追加したファイルをローカルリポジトリに commit する。 [Sync] をクリックし、ローカルリポジトリに commit したファイルを GitHub に push する。 GitHub に push され…

NFS設定手順 on Oracle Linux 7.1

…er ターゲット側にディレクトリ作成 $ mkdir -p /home/oracle/nfs/{local,remote} /etc/exports に以下を追記 /home/oracle/nfs/local *.oracle.com(rw,no_root_squash) NFS関連サービスを起動する # systemctl start rpcbind # systemctl start nfs-server # systemctl start nfs-lock # syst…

Linux のページテーブルのサイズの見方と見積式

… の算出ロジックを調べる。 デマンドページングにより、物理メモリにマップされて初めてPTEを使うか確認する Oracle Database での検証結果を書く /proc/meminfo の PageTables の算出ロジックを Kernel のソースコードから調査する PageTables にはページディレクトリのサイズも含まれるか HugePages を使った場合の見積式を書く Oracle Database の PRE_PAGE_SGA、LOCK_SGA について書く

Perlワンライナー集

…879.trc あるディレクトリ以下のファイルを再帰的に検索して文字コードを調べる perl -0777 -MEncode::Guess -wne '$e=guess_encoding($_,qw/euc-jp shiftjis 7bit-jis/);print "$ARGV:".$e->name."\n" if(ref($e))' **/* 任意のディレクトリ配下にどのような拡張子のファイルがどれだけあるか集計する perl -MFile::Find -MFile::Bas…

prociostat.pl と visualize_prociostat.R で Linux のプロセスのボトルネックを分析する

… を実行したカレントディレクトリにCSV(process..txt)が出力される 使用例) $ perl prociostat.pl -C -p 13674 # PID:13674 の情報を取得 # perl prociostat.pl -C # 全てのプロセスの情報を取得 visualize_prociostat.R CSV をグラフ化(png)する R スクリプト R がインストールされている必要があり、yum でインストールした # yum install R 使用例)…

SSHで公開鍵認証に失敗する

…ユーザの HOME ディレクトリのパーミッションが 777 になっていたからだった。~/.ssh ディレクトリや鍵ファイルのパーミッションが原因で失敗したことはあるけど、 これは初めて。 事象 SSHで公開鍵認証できるよう設定したがパスワードを求められる。 $ ssh oracle@192.168.0.179 oracle@192.168.0.179's password: ssh で接続時に /var/log/secure に以下のメッセージが出力される。 Sep 2 11…