RDS Performance Insights が 2026年6月に EOL、 Database Insights への移行を考える

概要

Performance Insights は 2026年6月30日にデプリケートされる予定です。

AWS has announced the end-of-life date for Performance Insights: June 30, 2026.

継続してパフォーマンスインサイト相当の機能を利用するには Performance Insights から CloudWatch Database Insights への移行する必要があります。

それぞれの機能差やコストについてまとめました。

続きを読む
AWS Glue Iceberg テーブル v3 スペックの最適化

AWS Glue Iceberg テーブル v3 スペックの最適化

AWS Glue Iceberg テーブルは 2025.10.28 時点で format-version=2 までサポートしていますが、format-version=3 はサポートしていません。

とはいえ、Iceberg format-version=3 としてデータを保存し利用はできます。

Athena でクエリ実行できない等の問題こそありますが、format-version=3 として利用はでき、テーブル v3 スペックの恩恵 を受けることができます。

AWS Glue テーブルを Iceberg v3 format で管理し、 Databricks 等の SaaS でデータを参照するような運用をしている場合には大きなパフォーマンスの向上が見込めます。

ですが、 AWS Glue テーブルの最適化機能は format-version=3 の場合、エラーとなります。

その為、Glue Job で Spark SQL 等でテーブル最適化を実施する必要があります。

以下実施例です。

続きを読む

parquet 解析ツール on macOS

iceberg テーブルの圧縮形式は snappy や gzip 等が選択できますが、
zstd が圧縮・伸縮効率がよくコストパフォーマンスに優れています。

ですが、
圧縮形式 zstd の parquet は s3 select 未サポート (2024.10.05 時点) なので、
parquet を解析したい場合、macOS ローカルにダウンロードし、解析するなりが必要です。

現時点 2025.10.03 では、 Iceberg format-versoin=3 では、 Athena からクエリ実行することもできません。

parquet-cli を利用しデータの内容を確認する必要があったので備忘録として残します。

parquet-cli 導入 & 簡易的な使い方

1
2
3
4
5
6
7
8
9
10
brew install parquet-cli

// スキーマ情報確認
parquet schema xxx.parquet

// 全データ表示
parquet cat xxx.parquet

// 最初の数件を表示
parquet head -n 10 xxx.parquet

Kafka への流入量の試算

AWS RDS の CDC を Kafka でストリーミングし Iceberg テーブルへ配信し分析基盤を構築しました。
その際に RDS のメトリクスから Kafka への流入量を試算するスクリプトを作成しましたので公開します。

SaaS への見積もりで流入量が必要だったので、スクリプトで試算した数値と合わせてスクリプトも提出した所、概ね問題ないことを確認いただけました。

続きを読む