AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する | Amazon Web Services ブログ を試してみた。 以下、メモ。 データソースの確認 % aws s3 ls --human-readable s3://aws-bigdata-blog/artifacts/glue-data-lake/data/ 2017-10-24 06:24:27 …

すでに QuickSight を利用しているAWSアカウントで、別のIAMユーザーで最初に QuickSight を使う場合の手順をメモ。 AWSマネジメントコンソールで [QuickSight] を選択する。 メールアドレスを入力する。 完了 参考 IAMユーザーを使用してAmazon QuickSight…

{ "Version": "2012-10-17", "Id": "Policy1536592965770", "Statement": [ { "Sid": "Stmt1536592962486", "Effect": "Allow", "Principal": "*", "Action": "s3:*", "Resource": "arn:aws:s3:::az-safari/*" } ] }

別々のVPCにEC2インスタンスを作成して iperf で1時間ネットワーク転送をして VPC フローログのサイズがどの程度になるか検証してみた。 検証手順 VPC フローログの設定 以下を2つのVPCで設定する 任意の名前で S3 バケットを作成する。 EC2 を作成する VPC …

事象 AWS Glue の Zeppelin で以下の PySpark のコードを実行すると、"ValueError: Cannot run multiple SparkContexts at once; existing SparkContext" と怒られる。 コード import sys from awsglue.transforms import * from awsglue.utils import getRe…

Active Directory（AD）連携でAWSマネジメントコンソールにログインしてさらに別のAWSアカウントにスイッチロールして操作した場合、同じADユーザー（AWSでは同じロール）を同時に複数人で操作した場合に誰が何をしたか追跡できるか調べたメモ。 Chrome、Saf…

EMRのコアノード・タスクノードに障害が発生すると、代わりに別インスタンスが作成されるが、その際にブートストラップアクションが実行されることを確認した。 手順 EMRクラスタを作成する EMR のブートストラップアクションはマスター・コア・タスクノー…

Simple AD(AWS のマネージドな Active Directory サービス) でディレクトリとユーザーを作成し、Active Directory ユーザーで認証してAWSマネジメントコンソールに SSO でログインしてみた。 設定手順 ディレクトリの作成 AWSマネジメントコンソールにログイ…

New Relic で EMR の各ノードにエージェントをインストールし、EMR Integration を設定して可視化したメモ。 設定手順 New Relic で EC2 の性能情報を可視化する - ablog の手順で各ノードに New Relic エージェントをインストールする。 New Relic で[INFRA…

EMR のブートストラップアクションはマスター・コア・タスクノードで実行されることを確認したメモ。 検証結果 起動時に実行するスクリプトを作成する s3://az-test/bootstrap.sh #!/bin/bash set -e wget -S -T 10 -t 5 http://elasticmapreduce.s3.amazona…

Amazon Inspector はOSやミドルウェアの脆弱性（CVE）や設定（CIS）などをチェックしてくれるサービス。EC2（Amazon Linux）に Inspector のエージェントをインストールして、マネジメントコンソールから Inspector の評価を実行して、評価結果を見てみた。 …

設定 監査ログの有効化 マネジメントコンソールでRedshiftクラスターを選択する。 [データベース]-[監査ログ記録の設定]を選択する。 [監査ログ記録の設定]で以下の通り入力する 監査ログ記録の有効化: はい 監査ログ記録の有効化: 新規作成 新規バケット名:…

New Relic の30日間評価トライアルを利用して、EC2 に New Relic エージェントをインストールして可視化してみた。 New Relic はウェブアプリケーションやモバイルアプリケーションをリアルタイム監視する SaaS。 手順 サインアップ New Relic | Real-time i…

AWS Organizations で Organizations Unit (OU) にアタッチしている Service Control Policy (SCP)で Deny している権限を、所属しているアカウントにアタッチする SCP で Allow しても上書きされないことを確認した。 Internet Gateway (IGW) の作成・アタ…

S3バケットが ACL でパブリック公開されたら、AWS Config のマネージドルール "s3-bucket-public-read-prohibited" で検知して CloudWatch Events 経由で Lambda を起動して Private に戻す検証をしてみたメモ。 設定 AWS Config のマネージドルールを追加す…

AWS Organizations の Service Control Policy でアカウントの権限を限定する - ablog と同様の手順で、AWS Organizations の Service Control Policy（SCP） でAWSアカウントの S3 Static website hosting の有効化を禁止してみた。 設定 s3:PutBucketWebsi…

設定 AWSマネジメントコンソールにスイッチ先のアカウントでログインする。 [IAM]をクリックし、左ペインで[ロール]を選択する。 [ロールの作成]をクリックする。 [別ののアカウント]を選択し、スイッチ元のアカウントIDを入力する。 ポリシーを選択し、[次…

AWS Organizations で組織を作成して、既存アカウントを子アカウントに招待したり、子アカウントを作成してみたりしたメモ。 組織を作成する 親アカウントにする root アカウントでログインする。 右上のアカウント名から[自分の組織]を選択する。 [組織の作…

AWS Organizations の Service Control Policy(SCP) でAWSアカウントに対する Internet Gateway（IGW） の作成とアタッチ（ec2:AttachInternetGateway、ec2:CreateInternetGateway）を禁止し、禁止したアカウントで IGW を作成できないことを確認してみた。 …