ablog

不器用で落着きのない技術者のメモ

セキュリティ の検索結果:

PySpark から Parquet ファイル on HFDS にクエリを実行してみる

AWS

…成する。 EMR のセキュリティグループで ssh でのアクセスを許可する。 マスターノードに ssh でログインする。 $ ssh -i ~/us-east-1.pem hadoop@ec2-**-***-**-**.compute-1.amazonaws.com HDFS にディレクトリを作成して S3 からデータをコピーする。 $ hadoop fs -mkdir /amazon-reviews-pds-az/ $ s3-dist-cp --src s3://amazo…

db tech showcase 2018 Day 2

…tributorで、セキュリティ機能やFDW、CustomScan等の機能においてコア機能の開発に貢献。数年前からGPUによるクエリ高速化モジュールであるPG-Stromを開発。この技術の実用化を目指し、2017年に HeteroDB 社を設立。現在に至る。 内容: 本セッションではまず、GPUを用いたPostgreSQL高速化モジュールであるPG-Stromの中核機能で、GPUとNVME-SSDを密連携てPCIeバスの限界に近いクエリ処理スループットを実現する『SSD-to…

db tech showcase 2018 Day 3

… 講師略歴: 本職はセキュリティソフトの開発。Pythonは2000年くらいから使用し始めている。db tech showcaseでは、MongoDBの人としてデビュー。本業の傍ら、オライリージャパンから「SRE サイトリライアビリティエンジニアリング」「初めてのSpark」「ヘルシープログラマ」「Google BigQuery」「Sparkによる実践データ解析」など技術翻訳書を多数発刊。 内容: 大量のデータをCSVで保存するのは非効率です。そのデータを分析に利用するなら、…

AWS Glue とは

AWS

…開発エンドポイント セキュリティ ETL Hiveメタストア Hive がテーブルのスキーマやその他の システムメタデータを永続化するため の独立したリレーショナルデータベー ス、通常は MySQL を使用する。 Apache Hive 紹介 Configuring the Hive Metastore | 5.8.x | Cloudera Documentation DynamicFrame Apache Spark の主要な抽象化の 1 つは SparkSQL DataF…

VPCフローログのサイズがどの程度になるか

AWS

…側にする EC2 のセキュリティグループでクライアント側のEC2のIPからの通信を許可する。 検証実施 iperf で1時間ネットワーク通信を行う。 サーバ側 $ iperf -s クライアント側 $ iperf3 -c ec2-**-***-191-213.ap-northeast-1.compute.amazonaws.com -t 3600 -P 10 CloudWatch サイズの確認 iperf クライアント側 $ aws s3 cp --recursive s3:…

EMR のブートストラップアクションはマスター・コア・タスクノードで実行される

AWS

…定する。 確認する セキュリティグループでマスターとスレーブへの SSH 接続を許可する*1。 ssh でマスター・コア・タスクノードにログインして、/home/hadoop/contents/README が存在することを確認する。 マスターノード [hadoop@ip-172-31-14-243 ~]$ find . -name README -ls 524311 4 -rw-r--r-- 1 hadoop hadoop 15 Oct 22 2009 ./contents…

Amazon Inspector で OS とミドルウェアの脆弱性・設定をチェックしてみた

AWS

…てみた。 クラウドセキュリティFAQ セキュリティ対策を分解して考える from koki abe AWS Black Belt Online Seminar Amazon Inspector from Amazon Web Services Japan Rules Packages in Amazon Inspector The following are the rules packages available in Amazon Inspector: Common V…

Amazon ECS を使ってみる

AWS

…のサブネットを選択 セキュリティグループ: 既存のセキュリティグループを選択 コンテナインスタンスの IAM ロール: ecsInstanceRole サービス作成 [Elastic Container Service]-[クラスター]で httpd-cluster をクリック サービス名: httpd-service タスクの数:4 セキュリティグループの設定 ssh(22)、http(80) でのアクセスを許可する テスト ブラウザでアクセスし"It works!"と表示…

コンテナ について

…ができます。 また、セキュリティの面においても「ハニーポット(蜜の壺/おとりサーバ)」と呼ぶクラッカー対策にchrootが利用されます。現在(2015年)では、chrootを使ったハニーポットに代わる新しいセキュリティ対策の仕組みがいろいろと研究されていますが、基本的にはchrootの考え方を踏襲しており、2015年現在でもフリーOSなどで利用されています。 chrootの応用例。chrootのファイルシステムの分離機能はソフトウェアの開発だけでなく、さまざまな分野で応用され…

「Oracleの基本 〜データベース入門から設計/運用の初歩まで」の紹介

…シーケンス 4.5 セキュリティ機構の基礎となるユーザー機能 4.6 ユーザー権限を制御する 第5章 テーブル設計の基本を知る 5.1 テーブル設計とは 5.2 第1ステップ‐概念設計 5.3 第2ステップ‐論理設計 5.4 第3ステップ‐物理設計 第6章 データベース運用/管理のポイントを押さえる 6.1 データベースにおける運用/管理の重要性 6.2 バックアップを取ってデータを守る 6.3 データベースのメンテナンス 6.4 データベースを監視する 6.5 ネットワーク…

Aurora MySQL互換に LOAD コマンドで CSV ファイルをロードしようとすると "ERROR 1148 (42000)" で失敗する

…ersion 原因 セキュリティ上の理由でデフォルトで LOAD DATA ステートメントが無効なため。 解決策 --local-infile オプションをつけて mysql クライアントで接続してロードする。 % mysql --local-infile -h aurora01.cluster-******.ap-northeast-1.rds.amazonaws.com -u awsuser -p mysql LOAD DATA LOCAL INFILE 'test.cs…

AWS の IAM(Identity and Access Management) についてメモ

AWS

…利用している 一時的セキュリティ認証情報(Temporary Security Credentials)は以下の3つからなる アクセスキー シークレットアクセスキー セッショントークン デフォルトでグローバルサービスとして単一エンドポイント: https://sts.amazonaws.com IAMのAccount Settingsより各リージョンでSTS機能をアクティベート可能(レイテンシー低減、冗長性などのため) IAMロール IAMユーザーやIAMグループではなく、A…

AWS の VPC(Virtual Private Network) についてメモ

AWS

…トワークACL と セキュリティグループ ネットワークACL セキュリティグループ サブネットレベルで効果 サーバレベルで効果 Allow/DenyをIN・OUTで指定可能 (ブラックリスト型) AllowのみをIN・OUTで指定可能 (ホワイトリスト型) ステートレスなので、戻りのトラフィックも明示的に許可設定する ステートフルなので、戻りのトラフィックを考慮しなくてよい 番号の順序通りに適用 全てのルールを適用 サブネット内のすべてのイン…

Amazon Redshift を使ってみる

AWS

…パティ]-[VPC セキュリティグループ]のリンクをクリック [インバウンド]で[編集]を選択 ルールの追加 タイプ: Redshift 送信元: カスタム、JackDBにデータソース作成時のIPアドレスを設定 SQLを実行してみる select * from pg_class limit 100; チュートリアル: テーブル設計のチューニング - Amazon Redshift を試してみる ソートキー、分散キー、圧縮を使用しないケース テーブルを作成 CREATE TAB…

JPOUG> SET EVENTS 20151017 に参加しました

…Database のセキュリティ機能は強いとM橋御大からお聞きした。後、Adaを受け継ぐPL/SQLの実行時のCPU命令の効率の良さとか、Infinibandに精通したエンジニアの頭数とか、50年来のコンピュータのアーキテクチャが変わろうとしている話とか— Yohei Azekatsu (@yoheia) 2015, 10月 18 最後に、このような素晴らしい場を提供いただいているJPOUG運営メンバー、コーソルさん、日本オラクルの皆さまに感謝です。 次は JPOUG Adv…

オペレーティングシステムとは? なぜオペレーティングシステムを学ぶのか?

OS

…ることが出来ます. セキュリティは,オペレーティングシステムのにならず様々なソフトウェ ア(時にはハードウェア)の連携により実現されるものですが,どのような役 割分担がされていることを知ることは,将来新たな提案をするための第一歩と いえるでしょう. 並列・分散計算は,ネットワーキングやセキュリティなどの技術を組み合 わせて,多数の計算機を用いて高性能な計算を可能にする技術です.そこでは, OSを単なるブラックボックスとして見たのでは,機能や性能上の重要なポイン トをしばしば見…

DBAのタスクにはどんなものがあるか

…正なアクセスを防ぐ(セキュリティ管理) 1-9 運用ポリシーを定義する(運用管理) 第2章 データベース管理アーキテクチャを理解しよう 2-1 データベース管理アーキテクチャの全体像 2-2 OracleEnterpriseManagerからデータベースを見てみよう 2-3 データ構造を理解し,データにアクセスしてみよう 2-4 トランザクションの管理を理解しよう 2-5 Oracleデータベース記憶域構造を理解しよう 2-6 データベースインスタンスを理解しよう 第3章 デ…

セキュリティポリシー参考情報

Webサイト 情報セキュリティポリシー入門:実践! セキュリティポリシー運用(1) - @IT データベースセキュリティの基本的な考え方:データベースセキュリティの基礎のキソ(1) - @IT wikipedia:情報セキュリティポリシー î•ñƒZƒLƒ ƒŠƒeƒBƒ|ƒŠƒV[‚ÉŠÖ‚·‚éƒKƒCƒhƒ‰ƒCƒ“ セキュリティポリシーの書き方 Oracle Database Oracle Database 2日でセキュリティ・ガイド, 11gリリース2(11.2…

Oracle OpenWorld Tokyo 2012 の注目セッション

…isで高性能かつ高いセキュリティで構築するノウハウ(D3-13 4/6(金) 14:00-14:45) Oracle DatabaseをSPARC/Solaris上で高速で、セキュリティが高く、ミッションクリティカルな環境で運用していくための、最適化ソリューションについて解説します。 このセッションではシステムの可用性を高め、サーバの利用効率を上げ、さらに高いセキュリティを実現しつつ、バッチなどシステム全体のパフォーマンスを高める技術を説明します。OracleのOracle …

Oracle Database 11g でのセキュリティ関連のメモ

[11gR1以降]11gではデフォルトでパスワードの大文字小文字を区別する [Oracle] 11gではデフォルトでパスワードの大文字小文字を区別する | Archive Redo Blog 認証の構成 初期化パラメータ [11gR1以降]Oracle 11gではデフォルトだとユーザーのパスワード有効期限は180日 Oracle 11gではデフォルトだとユーザーのパスワード有効期限は180日 - Fight the Future 認証の構成 [11gR2以降]DBMS_RAN…

LINUXシステムプログラミング一人読書会 1章

…能を呼び出すもの。 セキュリティーや信頼性の問題があるため、ユーザアプリケーションが直接的にカーネル内のコードを実行したり、データを操作することは禁止されている。 Cライブラリ Cライブラリはコアサービスやシステムコールを利用するために使われる。 LinuxのCライブラリはGNU libc。glibcと短縮して呼ばれる。 システムコールラッパ、スレッド対応、アプリケーションで必要になる基本機能などを備えている。 Cコンパイラ Linux の標準のCコンパイラはGNU Comp…

Oracle Database のパッチについてオレオレまとめ

…ch 4半期毎 - セキュリティ・ホールを修正するパッチ 個別パッチ - OPatch 不定期 - - パッチ適用方針 ステージング環境などでリグレッションテストを実施した上で本番環境に適用する。 PS(R) が最新になっていればよいと思う。 PSU まで最新になっていたほうがベターだが、コストとの兼合い。4半期毎にリグレッションテストするか。 CPU は PSU に含まれるので、あまり使うことはなさそう。インターネットに公開しているサービス等でセキュリティ・パッチ適用が M…

Oracle Database 11gR2 RAC 関連のメモ

…でインストール時に[セキュリティ・アップデートの構成]でメールアドレスや My Oracle Support のパスワードを入力するとどうなるか 「電子メール」フィールドに、電子メール・アドレス、できればMy Oracle Support(以前のOracleMetaLink)の電子メール・アドレスまたはユーザー名を入力します。セキュリティ更新を受信する場合は、「セキュリティ・アップデートをMy Oracle Support経由で受け取る」チェック・ボックスを選択します。「My…

Oracle Database 11gR2 RAC インストール on Microsoft Windows x86-64

…xe を実行する。 セキュリティ・アップデートの構成 電子メール: 何も入力しない セキュリティ・アップデートをMy Oracle Support経由で受け取ります: チェックを外す インストール・オプションの選択: データベース・ソフトウェアのみインストール Gridインストール・オプション: Real Application Clustersデータベースのインストール rac-node1: チェック rac-node2: チェック 製品言語の選択: 日本語、英語 データベ…

Oracle 11gR1 3node RAC on RHEL 構築手順

…/dba/logs セキュリティ設定:11gより前のデフォルトのセキュリティ設定に戻す データベース記憶域:表領域>USERS>大型ファイル表領域の使用:チェック 作成オプション: データベースの作成:チェック データベーステンプレートとして保存:チェック 名前:db01 データベース作成スクリプトの生成:チェック ディレクトリ:/oracle/app/oracle/admin/db01/scripts サービス作成 $ srvctl add service -d db01 …

Oracle LOVERS 勉強会 第20回 w/ 小田圭二 に行ってきた!

…に一回)、CPU: セキュリティパッチ(3ヶ月に一回)」 「基本、パッチは最新にしておくことがお薦め」 by 小田さん 「現時点では SSD よりストレージのキャッシュのほうが速い」 by 小田さん 「おすすめの勉強法は DB を壊したり、プロセスを kill したりして、どうなるかいろいろ見てみる。後はアウトプットすること。情報発信したところに集まる。」 by 小田さん 「Oracle Databaseの接続マトリクスは My Oracle Support で確認してほしい…

Mac OS X Snow Leopard on MacBook の初期設定

…]: チェックする セキュリティ [システム環境設定]-[セキュリティ]-[鍵]: クリックする [システム環境設定]-[セキュリティ]-[一般] [スリープの後、または〜]: チェックする [自動ログインを使用不可にする]: チェックする [システム環境設定]-[セキュリティ]-[ファイアウォール]: 開始 ターミナル [環境設定]-[起動] [起動時に開く]-[次の新しいウインドウ]: Homebrew [開くシェル]-[コマンド]: /bin/zsh [環境設定]-[設…

続・門外不出のOracle現場ワザの v$session_wait から情報収集するスクリプト

…ル、 #パスワードのセキュリティ漏洩などにはご注意ください。 SLEEP_SEC=3 LOOP_MAX=1200 COUNT=0 echo "/" echo "set heading off" echo "set feedback off" echo "set pagesize 9999" echo "set linesize 2000" while [ $COUNT -lt $LOOP_MAX ] do echo "@seswait.sql" sleep $SLEEP_SE…

負荷テストについて基本的なメモ

…要件、障害対策要件、セキュリティ要件、運用要件などがある。 ウォーターフォールモデルの場合、結合テストの後に実施するのが一般的。先に非機能要件を確認したら、機能要件が満たされてなくて修正したら、再度、非機能要件を確認しないといけない。だから、機能要件、非機能要件という順番で確認するんだと思う。 本番環境と同等のハードウェア環境を用意したほうが良い。 目標値をクリアするまで、負荷テスト → パフォーマンスチューニング ... を繰り返す。 スループットは単位時間あたりにシステム…

WebLogic で自己署名証明書を作成する手順

…ール*1から)。 [セキュリティ]-[レルム]-[myrealm]-[プロバイダ]-[キーストア]-[DefaultKeyStore] プライベート キー ストアの場所: mykeystore.jks プライベート キー ストアの Pass Phrase: weblogic ルート CA キー ストアの場所: trust.jks ルート CA キー ストアの Pass Phrase: weblogic WebLogic を停止する(WebLogic 管理コンソールから)。 […