xargs -P を使って並列で圧縮・ファイル転送する # 10000 行のファイルを作成する perl -le 'printf(qq/%05d\n/, $_) for 1..10000' > total # 1000 行ごとにファイルを分割する split --numeric-suffixes=1 -l 1000 total splited_ # 8 並列で圧縮する find…

SSH 公開鍵認証 【2022年10月版】AWS Transfer Family の SFTP を使ってみた | DevelopersIO パスワード認証 https://dev.classmethod.jp/articles/aws-transfer-family-sftp-with-password-method/:tilte

事象 rsql で -v オプションと -c オプションを併用するとエラーになる。 $ rsql -h redshift-cluster-poc-central.ceyg6jv96hfq.ap-northeast-1.redshift.amazonaws.com -U awsuser -d dev -v var_table_name='version()' -c 'select * from :var_table_nam…

環境 $ cat /etc/system-release Amazon Linux release 2 (Karoo) $ uname -r 5.10.130-118.517.amzn2.x86_64 インストールする sudo yum -y install unixODBC curl -L -O https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.5.9.1011/AmazonRedsh…

Azure Data Lake Storage Gen2 使ってみた #初心者 - Qiita Solved: Unable to mount the blob storage account as soft d... - Databricks - 27279