AWS Glue Iceberg テーブル v3 スペックの最適化
AWS Glue Iceberg テーブルは 2025.10.28 時点で format-version=2 までサポートしていますが、format-version=3 はサポートしていません。
とはいえ、Iceberg format-version=3 としてデータを保存し利用はできます。
Athena でクエリ実行できない等の問題こそありますが、format-version=3 として利用はでき、テーブル v3 スペックの恩恵 を受けることができます。
AWS Glue テーブルを Iceberg v3 format で管理し、 Databricks 等の SaaS でデータを参照するような運用をしている場合には大きなパフォーマンスの向上が見込めます。
ですが、 AWS Glue テーブルの最適化機能は format-version=3 の場合、エラーとなります。
その為、Glue Job で Spark SQL 等でテーブル最適化を実施する必要があります。
以下実施例です。
