ablog

不器用で落着きのない技術者のメモ

2021-02-10から1日間の記事一覧

PySpark で Parquet から行数をカウントしたメモ

from pyspark.sql import SparkSession spark = SparkSession.builder. \ appName("ExamplePySparkSubmitTask"). \ config("spark.databricks.hive.metastore.glueCatalog.enabled", "true"). \ enableHiveSupport(). \ getOrCreate() print(spark.sparkCont…