ablog

不器用で落着きのない技術者のメモ

2023-05-30から1日間の記事一覧

Spark on EMR から Glue カタログにアクセスできない

事象 Spark on EMR で Glue カタログのデータベース名を表示しようとすると、"because no identity-based policy allows the glue:GetDatabase action" で AccessDeniedException が発生する。 $ pyspark >>> from pyspark.sql import SparkSession >>> spar…

Spark で "Possibly unquoted identifier ... detected. Please consider quoting it with back-quotes as" と怒られる

事象 Spark SQL で Glue カタログのデータベース名("_"や"-"を含む)を指定すると、"Possibly unquoted identifier ... detected. Please consider quoting it with back-quotes as" と怒られる。 $ pyspark >>> from pyspark.sql import SparkSession >>> …