ablog

不器用で落着きのない技術者のメモ

2020-06-21から1日間の記事一覧

Amazon SageMaker の Jupyter Notebook のコードを Github で管理する

AWS

Github リポジトリを作成する SageMaker で Github リポジトリを登録する(以下、マネコンでの操作) [Amazon SageMaker]-[ノートブック]-[Git リポジトリ]-[リポジトリの追加] どのタイプのリポジトリを追加しますか?: GitHub または他の Git ベースのリポ…

Amazon QuickSight から Athena にクエリすると "Access Denied"

AWS

事象 以下のエラーメッセージが表示される。 [Simba][AthenaJDBC](100071) An error has been thrown from the AWS Athena client. Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: C39A664B8E41665A; S3 Exte…

Athena でクエリすると "Zero records returned." と言われる

AWS

事象 データが空でないのに、Athena で問合せると "Zero records returned." と言われる。 原因 クローラ設定で対象をファイルに指定している 解決策 クローラがファイルではなくバケットかプレフィックスまでを指すようにする。 参考 空の結果を返す Amazon…

Jupyter Notebook の sparkmagic は matplotlib でグラフを描画できない

Jupyter Notebook の sparkmagic は matplotlib でグラフを描画できなかったので、DataFrame をファイルに出力して、conda_python3 で読んでグラフを描画した。 参考 Sparkmagic is a set of tools for interactively working with remote Spark clusters th…