ablog

不器用で落着きのない技術者のメモ

2019-12-24から1日間の記事一覧

PySpark でデータを増幅する

https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/tutorial-tuning-tables-create-test-data.html の lineorder テーブルのデータを増幅する PySpark スクリプト for Glue ジョブ。実行状況は Spark History UI から確認する(AWS マネジメントコンソ…

PySpark で DataFrame にリテラルで列を追加しようとすると "col should be Column" と怒られる

事象 PySpark で DataFrame にリテラルで列を追加しようとすると "col should be Column" と怒られる。 コード import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from …