ablog

不器用で落着きのない技術者のメモ

2017-09-01から1ヶ月間の記事一覧

Python スクリプトのデバッグ方法

Python 標準の pdb でデバッグする方法をメモ。 $ python -m pdb foo.py (Pdb) b 76 # ブレイクポイントを設定する (Pdb) c # ブレイクポイントまで実行する pudb など標準デバッガ以外にもいろいろあるらしい。 参考 PythonデバッグTips - Qiita Python で…

Oracle Database から MySQL(Aurora MySQL互換含む) に移行する際に留意すべきこと

パラメータ SQL_MODE ルーク!MySQLではkamipo TRADITIONALを使え! | おそらくはそれさえも平凡な日々 MySQL で NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値が入る - ablog TX_ISOLATION トランザクション分離レベルは Oracle のデ…

AWRレポートを CSV に変換する手順

AWRレポートを CSV に変換する手順。CSV を EXCEL のピボットグラフなどを使って分析すると便利です。 Python スクリプトを入手する。 $ git clone https://github.com/yasushiyy/awr2csv.git AWRレポートの存在するディレクトリに移動する。 $ cd awrrep AW…

Oracle Database から Aurora MySQL互換 に DMS でデータをロードする

Oracle Database から Aurora with MySQL Compatibility にテーブルのデータを AWS Database Migration Service (DMS) でフルロードしてみたメモ。 ロード後のソースDBとターゲットDBのデータ比較 ソースDB(Oracle Database) SQL> select * from test_time…

sqlplus から Oracle Database に接続すると ORA-21561 で失敗する

事象 sqlplus から Oracle Database に接続すると ORA-21561 で失敗する。 % sqlplus awsuser/******@******.******.ap-northeast-1.rds.amazonaws.com:1521/ORCL SQL*Plus: Release 12.1.0.2.0 Production on Mon Sep 18 22:37:57 2017 Copyright (c) 1982,…

Mac OS X に Oracle Instant Client をインストールする

ダウンロード Instant Client for macOS (Intel x86) から以下をダウンロードする。 instantclient-basic-macos.x64-12.1.0.2.0.zip instantclient-sqlplus-macos.x64-12.1.0.2.0.zip インストール 解凍する % unzip instantclient-basic-macos.x64-12.1.0.2…

AWS Schema Conversion Tool をインストールする

AWS

macOS Sierra に AWS Schema Conversion Tool (SCT) をインストールしたメモ。 ダウンロード SCT AWS Schema Conversion Tool で Mac OS X のダウンロードをクリックして、aws-schema-conversion-tool-1.0.latest.zip をダウンロードする。 JDBC Driver for …

Safari Books Online に契約した

技術書(洋書)を読めるサービス Safari Books Online に年間契約($399)した。 以前は会社契約してたけど、転職して使えなくなったので個人契約してもペイすると考え入ることにした。 Safari にある本を全文検索することもできて、とても便利です。

Mac で右クリックで新規ファイル作成する by New File Creation

Mac

New File Creation で Mac で右クリック(2本指でタップ)で新規ファイル作成する方法をメモ。 インストール New File Creation を App Store でインストールする 設定 [システム環境設定]-[機能拡張]-[Finder]で[New File Creation Extension]にチェックを…

MySQL のリストパーティションにDEFAULTキーワードはない

MySQL のリストパーティションにDEFAULTキーワードはない模様。 list_partitionslist_partitions句を使用すると、columnのリテラル値のリストで表をパーティション化できます。リスト・パーティション化は、個々の行が固有のパーティションにマップする方法…

MySQL で NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値が入る

MySQL で SQL モードが STRICT モードでない場合、NOT NULL 制約のある列に複数行インサートするとその型のデフォルト値(0とか空文字)が入る(1行インサートだとエラーで入らない)。 検証結果 Amazon Aurora with MySQL Compatibility に接続する $ mysql…

Oracle Database の PL/SQL を MySQL にどう移行するか

AWS

はじめに Oracle Database の PL/SQL の MySQL への移行方法を説明します(MySQL 5.0 からストアドプロシージャに対応している)。 AWS Schema Conversion Tool (SCT) という GUI デスクトップアプリケーション(Windwos/Mac OS X/Linux版)をインストールし…

Amazon RDS for Oracle で起動しているプロセスを確認する

AWS

Amazon RDS for Oracle で起動しているプロセスは V$PROCESS で確認できる。*1 $ export _JAVA_OPTIONS="-Duser.language=en -Duser.country=US" $ sql awsuser@orcl.******.ap-northeast-1.rds.amazonaws.com:1521/orcl Picked up _JAVA_OPTIONS: -Duser.la…

Big Data Architecture Pattern (Polyglot/Lambda/Kappa)

仕事の都合で残念ながら聞けなかったが、db tech showcase 2017 での諸橋さんのセッション「polyglot data acces」の内容を polyglot data access - JPOUG in 15 minutes at db tech showcase Tokyo 2017 - wmo6hash::blog で拝見した。とても勉強になる内容…

EMR で Presto からクエリを投げてみる

AWS

EMR クラスターを作成する Presto を使えるクラスターを作成する Hive カタログを作成する $ hive hive> CREATE DATABASE IF NOT EXISTS db01; hive> CREATE EXTERNAL TABLE … hive> クエリ実行 Presto からクエリを投げてみる $ presto-cli presto> use hiv…

pgbench で RDS PostgreSQL のマスターに負荷をかけてリードレプリカのレプリケーションラグを計測する

AWS

pgbench とは pgbenchとはpgbenchはPostgreSQLに同梱されているシンプルなベンチマークツールです。最初のバージョンは筆者により作成され、日本のPostgreSQLメーリングリストで1999年に公開されました。その後pgbenchはcontribという付属追加プログラムとし…

pgbench を使ってみる

pgbench をインストールする $ sudo yum -y install postgresql $ sudo yum -y install postgresql-contrib 参考 PostgreSQL: Documentation: 9.6: pgbench

Amazon Redshift announces Federated Authentication with Single Sign-On

AWS

Posted On: Aug 11, 2017You can now use the new Amazon Redshift database authentication to simplify the credential management of database users. You can configure Amazon Redshift to automatically generate temporary database credentials base…

Amzon QuickSight のユーザーを削除する方法

AWS

AWS のマネージドなBIサービス Amazon QuickSight のユーザーを作成後削除する方法。 ルートユーザーか最初に QuickSight のアカウントを作成した IAM ユーザー(管理者ユーザー)で QuickSight にログインする。 QuickSight の画面右上の [Manage QuickSigh…