ablog

不器用で落着きのない技術者のメモ

2021-01-09から1日間の記事一覧

GitHub で2要素認証を有効化したら、git コマンドで push できない

事象 GitHub で2要素認証を有効化したら、git コマンドで push できない。 原因 2要素認証を有効化すると、git コマンドではパスワードではなく Personal access tokens で認証を行うため。 解決策 Personal access tokens を生成 ブラウザで GitHub にログ…

GitHub に push すると "error: src refspec master does not match any."、"error: failed to push some refs to" と怒られる

事象 GitHub に push すると "error: src refspec master does not match any."、"error: failed to push some refs to" と怒られる。 $ git push origin master error: src refspec master does not match any. error: failed to push some refs to 'git@gi…

AWS Glue で Amazon S3 にある Parquet を Amazon DynamoDB にロードする

AWS

AWS Glue で Amazon S3 にある Parquet を Amazon DynamoDB にロードしてみた。 DynamoDB にテーブルを作成する。 プライマリキーの項目名と型を設定する。 Parquet ファイルを S3 バケットにアップロードする。 AWS Glue でクロールしてテーブルを作成する…

AWS Glue で Amazon S3 にある CSV を Amazon DynamoDB にロードする

AWS

AWS Glue の Spark ジョブで Amazon S3 にある CSV を Amazon DynamoDB にロードしてみた。 src_table.csv を作成する。 x y z src_table.csv を S3 バケットにアップロードする。 AWS Glue のクローラでアップロードした CSV をクロールしてテーブルを作成…

AWS Glue で Amazon DynamoDB に読み書きする

AWS

AWS Glue の Spark ジョブで Amazon DynamoDB のテーブルから別のテーブルにデータをコピーしてみた。 手順 DynamoDB のテーブルを作成する src_table プライマリキー: key 3件ほどItemを追加する dst_table プライマリキー: key テーブルは空のままにしてお…