ablog

不器用で落着きのない技術者のメモ

2021-09-03から1日間の記事一覧

Glue Spark で出力ファイルサイズのサイズを大きくする

AWS

Glue Spark で出力ファイルサイズのサイズを大きくしたメモ。 サマリ 以下の2つの方法がある。 Glue カタログでデータソースの Table Properties で以下を指定する groupFiles: inPartition 入力ファイル数が 50,000 以下でもグループ化を有効にする groupSi…

Amazon Linux 2 に redis-rb をインストールして使ってみた

Amazon Linux 2 に redis-rb をインストールし、クラスターモードが有効な ElastiCache(Redis) に対して、Configuration エンドポイントを使ってアクセスしてみた。 インストール Amazon Linux 2 に rbenv をインストールする - ablog redis-rb をインストー…

Amazon Linux 2 に rbenv をインストールする

必要なパッケージをインストールする sudo yum install -y git gcc openssl-devel zlib-devel rbenv をダウンロードする git clone https://github.com/sstephenson/rbenv.git ~/.rbenv git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/p…

Redis の Ruby Client

AWS

Black Belt Online Seminar ElastiCache P.20 redis-rb ソースコード: GitHub - redis/redis-rb: A Ruby client library for Redis ElastiCache(Redis) クラスターの configuration エンドポイントに対応している。 そして、以下試した所いけた!嬉しかった…

ElastiCache(Redis) のレプリケーションラグを計測してみた

AWS

ドキュメントの説明 Q: アクティブなリードレプリカの状態はどのように把握できますか? デプロイ済みのすべてのキャッシュクラスター (リードレプリカを含む) のリストを取得するには、標準の DescribeCacheClusters API を使用するか、Amazon ElastiCache …