… ユーザーを作成 ユーザー名: aws-sftp-user ロール: TransferFamilySFTP-Role ホームディレクトリ: /バケット名>/プリフィックス/ SSH パブリックキー: 以下のコマンドでキーペアを作成し、ssh-key-sftp.pub を登録 $ ssh-keygen -f ~/.ssh/ssh-key-sftp -t rsa -m PEM Azure Data Factory の設定 Azure Data Factory のデータ転送先の設定

log ディレクトリ以外を対象として grep する例。 $ grep -Ri --exclude-dir log cassandra * 参考 grepコマンドで特定のディレクトリを検索対象から除外する | 晴耕雨読

…ジトリの root ディレクトリに .gitignore を置いて無視するファイルを記述すればよい。 % cat .gitignore # Mac .DS_Store .AppleDouble .LSOverride 参考 これはGitに登録していないファイルがあると出るらしいです。 どうやら --ignore-unmatch をつけると、Gitに登録していないファイルを無視して削除してくれるみたいです。 git rm で fatal: pathspec did not ma…

…トアップスクリプトのディレクトリに移動する $ cd redshift_concurrent_query_executer/setup/ グループ・ユーザー作成 $ chmod u+x create_groups_users.sh $ ./create_groups_users.sh パラメーターグループとWLM設定 $ chmod u+x redshift_create_parameter-group.sh $ ./redshift_create_parameter-gro…

…パターンを指定するビヘイビアを作成して、すべての静的コンテンツリクエストを S3 バケットにルーティングします。たとえば、「images/*.jpg」パスパターンを設定して、画像 ディレクトリにある「.jpg」ファイルのすべてのリクエストを S3 バケットにルーティングします。 ディフォルト (*) パスパターンビヘイビアをを編集して、ロードバランサーとしてオリジンを設定します。 CloudFront ウェブディストリビューションを使って、複数のオリジンのコンテンツを供給する

…onfig /usr/pgsql-12/bin/pg_config pg_config のあるディレクトリにパスを通して、psycopg2 をインストールする。 $ export PATH=$PATH:/usr/pgsql-12/bin/ $ pip install psycopg2 $ pip install psycopg2-binary 関連 Amazon Linux 2 に postgresql12-devel をインストールしようとするとエラーになる - ablog

ディレクトリ作成 $ cd /opt $ sudo mkdir apache-spark apache-maven Open JDK 1.8 をインストール $ sudo yum -y install java-1.8.0-openjdk-devel.x86_64 $ java -version Maven をインストール $ curl -O https://aws-glue-etl-artifacts.s3.amazonaws.com/glue-common/apache-…

…ランチを作成する。 ディレクトリを作成する $ mkdir yoheia.github.io $ cd yoheia.github.io $ mkdir gh-pages develop ブランチを clone する $ git clone -b develop https://github.com/yoheia/yoheia.github.io.git develop develop/ 配下の .git/config を書き換える（二段階認証を有効化しているため）。 前: …

…origin"] url = git@github.com:yoheia/yoheia.github.io.git ★ fetch = +refs/heads/*:refs/remotes/origin/* [branch "master"] remote = origin merge = refs/heads/master 参考 githubを二段階認証に変更後に起こるエラーの対処方法 - Qiita *1:yoheia-portfolio はリポジトリのベースディレクトリ

… 出力ファイルまたはディレクトリの名前 -F, --format=c|d|t|p 出力ファイルの書式(custom, directory, tar, plain text（デフォルト）) -j, --jobs=NUM ダンプ時に指定した数の並列ジョブを使用 -v, --verbose 冗長モード -V, --version バージョン情報を表示し、終了します -Z, --compress=0-9 圧縮形式における圧縮レベル --lock-wait-timeout=TIMEOU…

….repos.d/ ディレクトリー内のすべての .repo ファイル) 内で、以下の組み込み変数を使用および参照できます。$releasever この変数を使用すると、Red Hat Enterprise Linux のリリースバージョンを参照できます。yum は /etc/yum.conf 設定ファイルにある distroverpkg=value の行から $releasever の値を取得します。/etc/yum.conf にそのような行がない場合、yum は redha…

…e install ディレクトリ作成 $ sudo mkdir /var/run/pgpool $ sudo mkdir /var/log/pgpool $ sudo chown postgres:postgres /var/log/pgpool/ $ sudo chown postgres:postgres /var/run/pgpool/ パスワードファイル作成 $ sudo touch /usr/local/etc/pool_passwd $ sudo chown po…

…agent のホームディレクトリで実行 $ perf record -F 99 -p 9875 -g -- sleep 60 /tmp/.map を生成する $ bin/create-java-perf-map.sh 9875 トレース（テキスト）を生成する $ perf script > out.perf Flame graph を生成する $ git clone --depth 1 https://github.com/brendangregg/FlameGraph.gi…

VSCode から変更したファイルを Github に push した手順。 GitHub から clone したディレクトリを VSCode で開く git アイコンをクリック。 変更したファイルの「＋」をクリックしてステージング。 コメントを入力して、「✔︎」をクリックしてコミット。 「・・・」をクリックしてメニューを開き、「プッシュ」を選択。 参考 GitHubとVSCODEの連携方法 - Qiita

…der]をクリック、ディレクトリを選択。 ファイルをクリックして開く。 補足 VSCode から ssh 接続に失敗する場合は、ターミナルなどから ssh 接続ができるか確認して切り分ける。 VSCode から接続時に "Are you sure you want to continue connecting (yes/no)?" と聞かれると失敗するので、ターミナルで yes として、 known hosts のリストに追加してやると、VSCode で接続できる。 クライア…

…ァイルが dist ディレクトリ以下に作成されていることを確認する。 $ ls -l dist/ total 552 -rw-rw-r-- 1 ec2-user ec2-user 334126 May 6 07:44 python-dateutil-2.8.1.tar.gz -rw-rw-r-- 1 ec2-user ec2-user 227182 May 6 07:45 python_dateutil-2.8.1-py2.py3-none-any.whl ★ 参考 Pyth…

…e.nkmk.me ディレクトリがないときは再帰的に作成する 引数exist_okがある場合 Python 3.2以降は引数exist_okが追加されており、exist_ok=Trueとすると既に末端ディレクトリが存在している場合もエラーが発生しない。末端ディレクトリが存在していなければ新規作成するし、存在していれば何もしない。前もって末端ディレクトリの存在確認をする必要がないので便利。 os.makedirs('exist_dir/exist_dir', exist_ok=…

…ョブが使うスクリプトディレクトリ（デフォルト: aws-glue-scripts-{AWS Account ID}-{region}）、一時ディレクトリ（デフォルト: aws-glue-temporary-{AWS Account ID}-{region}） も許可する必要がある。 事象 エラーログ fatal error: An error occurred (403) when calling the HeadObject operation: Forbidden Err…

…からスタートする。 ディレクトリを作成する。 $ mkdir -p ~/environment/scripts スクリプトを作成する。 $ cat > ~/environment/scripts/install-tools <<-"EOF" #!/bin/bash -ex sudo yum install -y jq gettext sudo curl --silent --location "https://s3.amazonaws.com/session-manager-…

…su - hdfs ディレクトリを作成する。 $ hadoop fs -mkdir /amazon-reviews-pds データを S3 から HDFS にコピーする。 $ nohup s3-dist-cp --src s3://amazon-reviews-pds/ --dest /amazon-reviews-pds & # s3-dist-cp がない場合は AWS CLI でコピーする $ nohup aws s3 cp --recursive s3://amazo…

…k.zipを解凍したディレクトリ名でバージョンが分かる $ export DAX_HOME=/home/ec2-user/trydax $ export CLASSPATH=.:$DAX_HOME/DaxJavaClient-latest.jar:$DAX_HOME/aws-java-sdk-$SDKVERSION/lib/aws-java-sdk-$SDKVERSION.jar:$DAX_HOME/aws-java-sdk-$SDKVERSION/third-party/l…

…ws.com:~/ ディレクトリオブジェクトとパスを確認する。 SQL> set linesize 200 SQL> col owner for a10 SQL> col privilege for a10 SQL> col directory_name for a30 SQL> col grantee for a20 SQL> col directory_path for a50 SQL> select d.owner, d.directory_name, p.grante…

…su - hdfs ディレクトリを作成する。 $ hadoop fs -mkdir /amazon-reviews-pds データを S3 から HDFS にコピーする。 $ nohup s3-dist-cp --src s3://amazon-reviews-pds/ --dest /amazon-reviews-pds & コピーされたファイルを確認する。 $ hadoop fs -ls -R -h /amazon-reviews-pds/ 外部テーブルを定義する。 hi…

…べてみた。 カレントディレクトリを perf-map-agent/out にして、 $ cd /home/hadoop/perf-map-agent/out DoWhileTrueJava.java を作成して public class DoWhileTrueJava { public static void main(String[] args) throws InterruptedException { System.out.println("Start Processi…

…t/hdfs 以下のディレクトリ階層 [root@ip-***-**-*-133 hdfs]# tree -d /mnt/hdfs /mnt/hdfs └── current └── BP-747367826-172.31.6.167-1537719042716 ├── current │&#160;&#160; ├── finalized │&#160;&#160; │&#160;&#160; └── subdir0 │&#160;&#160; │&#160;&#160; …

…com HDFS にディレクトリを作成して S3 からデータをコピーする。 $ hadoop fs -mkdir /amazon-reviews-pds-az/ $ s3-dist-cp --src s3://amazon-reviews-pds/ --dest /amazon-reviews-pds-az/ コピーしたファイルを確認する。 $ hadoop fs -ls -h -R /amazon-reviews-pds-az 実行 以下のコードを実行する。 from py…

… AWSGlueServiceRole-Default 一時ディレクトリ: デフォルトのまま Athena でクエリ実行 データベースで cloudtrail を選択する 以下のクエリを実行する select * from cloudtrail.parquettrails where eventtime > '2017-10-23T12:00:00Z' AND eventtime < '2017-10-23T13:00:00Z' order by eventtime asc;

…ry サービス) でディレクトリとユーザーを作成し、Active Directory ユーザーで認証してAWSマネジメントコンソールに SSO でログインしてみた。 設定手順 ディレクトリの作成 AWSマネジメントコンソールにログインして、[Directory Service] をクリックする [ディレクトリのセットアップ] をクリックし、ウイザードに従って以下の通りディレクトリを作成する ディレクトリタイプの選択: Simple AD ディレクトリ情報の入力 ディレクトリの…

…w スクリプトのあるディレクトリに移動する $ cd amazon-redshift-utils/src/AdminViews ビュー一括作成スクリプトを作成する $ ls -tr v_*.sql|perl -nle 'print qq/\\i $_/' > create_all_views.sql Redshift にスーパーユーザーで接続する $ psql "host=ds28xl4n.********.us-west-2.redshift.amazonaws.com u…

…破損したOSのルートディレクトリを適当な名前のディレクトリ（/mnt/sysimageなど）にマウントすることに成功すれば、そのディレクトリにchrootを実行することで、破損したOSのルートディレクトリに遷移できます。これにより、起動不能だったOSのコマンド群を使えるようになり、復旧作業を行うことができます。 また、セキュリティの面においても「ハニーポット（蜜の壺／おとりサーバ）」と呼ぶクラッカー対策にchrootが利用されます。現在（2015年）では、chrootを使った…