ablog

不器用で落着きのない技術者のメモ

セキュリティ の検索結果:

Azure Data Factory から AWS Transfer Family の SFTP への接続時に "no matching host key type found" エラー

… Transfer Family の SFTP の暗号化アルゴリズムのオプションを TransferSecurityPolicy-2020-06 以前に設定する。 マネジメントコンソールで [AWS tansfer Family] - [サーバー] - [対象のサーバー] を選択し、[その他の詳細] の [編集] をクリック、[暗号化アルゴリズムのオプション] - [セキュリティポリシー] で TransferSecurityPolicy-2020-06 を選択して保存する。

Azure Data Factory から AWS Transfer Family の SFTP へ接続しようとすると "Failed to connect to Sftp server '...'. Server HMAC algorithm not found" エラーが発生する

… Transfer Family の SFTP の暗号化アルゴリズムのオプションを TransferSecurityPolicy-2022-03 以前に設定する。 マネジメントコンソールで [AWS tansfer Family] - [サーバー] - [対象のサーバー] を選択し、[その他の詳細] の [編集] をクリック、[暗号化アルゴリズムのオプション] - [セキュリティポリシー] で TransferSecurityPolicy-2022-03 を選択して保存する。

VPC内 Glue Job が使用するIPアドレス数

AWS

…ンバウンドルールで自セキュリティグループからの全てのトラフィックを許可する。 Spark Job Script 1分間スリープするだけのスクリプト import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueCont…

Logicool MX ERGO(MXTB1s) で MacBook Pro でスクロールできない

…できない。 解決策 [システム環境設定]-[セキュリティとプライバシー]-[アクセシビリティ]で、Logi Options と Logi Options Daemon をチェックする。 環境 Logicool Wireless Trackball MX ERGO(MXTB1s) MacBook Pro(14 inch, 2021) M1 Pro macOS Monterey(version 12.6) 参考 【Mac】Logicoolのマウスでスクロールできないときの対処方法

セキュリティグループ変更時に "ou may not specify a referenced group id for an existing IPv4 CIDR rule" と怒られる

AWS

エラーが出るケース セキュリティーグループのソースを変更するようなケースで、エラーが出ます。 例えば、ソースの設定を 0.0.0.0/0 のように設定していたセキュリティーグループで、ソースをセキュリティグループID(sg-xxxxxxxx)に変更するケースです。(ELBを後から追加した際などに行うことがあると思います) これまでであれば、CIDRを消してセキュリティグループIDを設定して変更保存すればアップデートできていました。 ところが、現在では下記のように You ma…

Amazon Linux2 に Pukiwiki をたてたメモ

…IfModule> セキュリティ設定 $ sudo su - # ce /etc/httpd/conf.d/ # mv welcome.conf welcome.conf.org # mv autoindex.conf autoindex.conf.org # cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens Prod Header unset "X-Powered-By" # h…

XWiki on AWS

AWS

…loying... セキュリティグループ "AwsXwikiHostingStack-trcXWikiAlbSecurityGroup" のインバウンドで 80 番ポートのソースを 0.0.0.0/0 から特定の IP アドレスに絞る ブラウザで http://awsxw-trcxw-********-********.ap-northeast-1.elb.amazonaws.com にアクセスして XWiki の初期設定を行う 参考 How to deploy XWiki …

Private Subnet の EC2 にセッションマネージャーで接続できない

AWS

…ントに関連付けているセキュリティグループのインバウンドで EC2 インスタンスからの https が許可されていないため。 解決策 VPC エンドポイントに関連付けているセキュリティグループで VPC やサブネットの CIDR、EC2 にアタッチしているセキュリティグループなどからのインバウンドの https を許可する。 参考 [Security group] で既存のセキュリティグループを選択するか、新しいセキュリティグループを作成します。新しいセキュリティグループを作成…

AWS Glue から別アカウントの Aurora PostgreSQL に接続する

AWS

… にアタッチしているセキュリティグループのインバウンドでピアリング先 VPC からの 5432 ポートを許可していること。 手順 マネジメントコンソールから [AWS Glue] - [データベース] - [接続] を選択。 [接続の追加] をクリック、以下の通り設定。 タイプ: JDBC JDBC URL: jdbc:postgresql://apg117.cluster-******.ap-northeast-1.rds.amazonaws.com:5432/postgr…

AWS アカウント作成後にすぐやるセキュリティ対策

ルートアカウント ルートユーザーの他要素認証の有効化 Amazon S3 のブロックパブリックアクセスをアカウントレベルで有効化 CloudTrail を有効化 AWS Config を有効化(マネージドルールは選択しない) AWS GuardDuty を有効化 AWS SSO、AWS Organizations を有効化 権限をセット、グループ、ユーザーを作成 ユーザーのMFAを有効化 AWS Budgets で AWS 利用料のアラートメール設定 メンバーアカウント Or…

Session Manager plugin で Private Subnet の EC2 に踏み台なしで接続する

AWS

…ントのにアタッチするセキュリティグループはEC2にアタッチしているセキュリティグループからインバウンド https が許可されていること。 EC2のセキュリティグループはアウトバウンドで https が許可されていること。 インストール・設定 macOS に Session Manager plugin をインストール $ curl "https://s3.amazonaws.com/session-manager-downloads/plugin/latest/mac/se…

AWS Glue の Spark ジョブで spark.conf.set() する方法

AWS

[ジョブの編集]-[セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)]-[ジョブパラメータ] で以下のように設定する。 キー: --conf 値: spark.sql.parquet.enableVectorizedReader=false 関連 Glue Spark ジョブで dynamic_frame から Parquet を読もうとすると "Unsupported encoding: DELTA_BINARY_PACKED" と怒られる - abl…

VPCEポリシーで Aurora PostgreSQL からエクスポート可能なS3バケットを絞る

AWS

…のアクセスは、データセキュリティにとって脅威になる可能性があります。"Resource":”*” を使用してすべてのリソース S3:PutObject へのアクセスを許可するポリシーを作成すると、エクスポート権限を持つユーザーはアカウント内のすべてのバケットにデータをエクスポートできます。さらに、ユーザーは AWS リージョン内のパブリックに書き込み可能なバケットにデータをエクスポートできます。 データを Aurora PostgreSQL DB クラスター から Amazo…

PostgreSQL で pg_dump / pg_restore

…security 行セキュリティを有効にします (ユーザがアクセス 許可を持つ内容のみダンプします) --exclude-table-data=TABLE 指定したテーブル(複数可)のデータをダンプしません --if-exists オブジェクトの削除の際に IF EXISTS を使います --inserts COPYではなくINSERTコマンドとしてデータをダンプ します --load-via-partition-root パーティションをルートテーブル経由でロードします -…

Amazon QuickSight で S3 のデータを可視化

AWS

…選択。 左ペインで[セキュリティとアクセス権限]をクリック。 [接続された製品とサービス]の[追加または削除する]をクリック。 [Amazon S3] の [詳細]-[S3 バケットを選択する] をクリック。 作成したS3バケットを選択する。 QuickSight で可視化 マネコンのQuickSightの右上の人アイコンから[東京]を選択。 [新しい分析]-[新しいデータセット]-[S3]をクリック。 データソース名: Japan Address マニフェストファイルのアッ…

Python shell ジョブで six と python_dateutil をインストールする

AWS

…z2-pypi-org/six-1.14.0-py2.py3-none-any.whl,s3://az2-pypi-org/python_dateutil-2.8.1-py2.py3-none-any.whl 接続 タイプ: JDBC JDBC URL: jdbc:mysql://example.com:3306/example VPC ID: vpc-****** サブネット: subnet-****** セキュリティグループ: sg-****** ユーザー名: dummy

Route53 を使って同一 AZ のリードレプリカ障害時に別 AZ にフェイルオーバーする

AWS

…1a に作成する。 セキュリティグループのインバウンドで Route53 ヘルスチェッカーの IP アドレス(以下)から TCP 3306 ポートを許可する。 $ curl -s https://ip-ranges.amazonaws.com/ip-ranges.json|jq -r '.prefixes[]|select(.service=="ROUTE53_HEALTHCHECKS" and ( .region=="ap-northeast-1" or .region==…

AWS Lambda で Amazon Redshift から S3 に UNLOAD する

AWS

…と同じ サブネット セキュリティグループ: Redshift クラスターと同じ VPC のセキュリティグループで、INBOUND で タイプ: Redshift/プロトコル: TCP/ポート範囲: 5439/セキュリティグループ: 自セキュリティグループ を許可。 実行してみる AWS マネジメントコンソールの Lambda 関数のテストから実行 実行が成功したことを確認 S3 バケットに出力されていることを確認 S3 Select からファイルの中身を確認 参考 psyco…

Glue 開発エンドポイントの Jupyter Notebook で GeoPy を使ってみた

AWS

…ポイント作成時に [セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)] でパスを指定する。 Python ライブラリパス: s3://yoheia-glue-lib/python/geopy.zip 実行結果 コード import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import Spa…

Glueジョブで GeoPy を使ってみた

AWS

… ジョブ作成時に [セキュリティ設定、スクリプトライブラリおよびジョブパラメータ (任意)] で、zip のパスを指定する。 Python ライブラリパス: s3://yoheia-glue-lib/python/geopy.zip スクリプト import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import …

Client VPN 接続する

AWS

…先の VPC ID セキュリティグループ ID: sg-015************** VPN ポート:443 ターゲットネットワークへのクライアント VPN の関連付けの作成 AWSマネコンで [VPC] - [クライアント VPN エンドポイント] で作成したVPNエンドポイントを選択し、[関連付け]タブ - [関連付け] をクリック、VPCとサブネットを指定する。 ターゲットネットワークへのクライアント VPN で受信を承認 AWSマネコンで [VPC] - [クラ…

Jenkis を使ってみる

…EBS: 30GB セキュリティグループで My IP から 8080 のインバウンドアクセスを許可する。 OpenJDK をインストールする。 $ sudo yum -y install java-1.8.0-openjdk-devel.x86_64 Jenkinsをインストールする。 $ sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo $ su…

Glue で閉域網に閉じた構成

AWS

… 任意のサブネット セキュリティグループ: sg-0***************6 # 任意のセキュリティグループ SSL 接続が必要です: false 説明: - ユーザー名 dummy # ダミー Glue Job(PySpark) import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import Spa…

Jupyter notebook 環境をEC2で構築する

AWS

…タンスを作成する。 セキュリティグループで、ssh と TCP 8888 ポートへの マイIP からのアクセスを許可する。 ssh で接続する。 $ ssh -i .ssh/mykey.pem ubuntu@ec2-35-***-***-20.compute-1.amazonaws.com Jupyter notebook のパスワードを設定する。 $ jupyter notebook password Enter password: Verify password: SSL…

YCSB で Memcached に負荷をかける

AWS

…cached1.5 セキュリティグループ ElastiCache クラスターのセキュリティグループでEC2インスタンスのセキュリティグループからポート「11211」へのアクセスを許可する。 EC2インスタンス(Amazon Linux)に YCSB をインストールする YCSB で DynamoDB On-Demand に負荷をかける - ablog 参照 YCSB/workloads/workload-mc-01 を作成する。 recordcount=10000 opera…

文鎮化した S3 バケットを元に戻す

AWS

…ウント名を選択し、[セキュリティ認証情報]を選択する。 [アクセスキー (アクセスキー ID とシークレットアクセスキー)]-[新しいアクセスキーの作成]をクリックし、[キーファイルのダウンロード]をクリックしてダウンロードする。 文鎮化したS3バケットのバケットポリシーを削除 ダウンロードしたキーファイルを開いて、AWS CLI に設定する。 $ export AWS_DEFAULT_REGION=ap-northeast-1 $ export AWS_ACCESS_KEY…

Google 認証を使ってALBで認証する

AWS

…スにアタッチしているセキュリティグループを設定してHTTPでアクセスできるようにする。 「http://EC2のパブリック DNS」にアクセスしてページが表示されることを確認する。 ターゲットグループ [EC2]-[ターゲットグループ]-[ターゲットグループの作成]をクリックし、ターゲットグループを作成する。 ターゲットグループ名: 任意 VPC: 作成したEC2インスタンスと同じVPCを選択 作成したターゲットグループを選択して、[ターゲット]タブを選択して、[編集]をクリ…

ssh接続せずにAWSマネジメントコンソールからEC2にログインしてシェルを実行する

AWS

…ドポイントとEC2のセキュリティグループの設定も要注意。うまく行かない場合は Private Subnet の EC2 にセッションマネージャーで接続できない - ablog 参照。 com.amazonaws.region.ssm com.amazonaws.region.ec2messages com.amazonaws.region.ssmmessages com.amazonaws.region.s3 参考 SSH不要時代がくるか!?AWS Systems Manag…

ECS で EC2 と Fargate の起動タイプのタスクを併用して同じアプリケーションを実行する

AWS

…合は作成しておく。 セキュリティグループ作成 セキュリティグループ名: ECS-SG VPC: デフォルトVPC タイプ プロトコル ポート範囲 ソース HTTP TCP 80 マイIP SSH TCP 22 マイIP すべてのTCP TCP すべて 自分自身のセキュリティグループID ELB ELB作成 種類: Application Load Balancer 名前: ec2-fg-mix-alb プロトコル: HTTP ポート: 80 アベイラビリティーゾーン VPC:…

EC2に Netflix Vector をインストールしてみた

AWS

…cp.so.3 /usr/lib/libpcp.so.3 [hadoop@ip-172-31-4-40 html]$ find /usr -name libpcp_pmda.so.3 /usr/lib/libpcp_pmda.so.3 共有ライブラリへのパスを通してやると解決した。 $ sudo vi /etc/ld.so.conf /usr/lib #追記 $ sudo ldconfig $ sudo ldconfig -v *1:セキュリティグループでアクセス許可しておく