Kafka への流入量の試算

AWS RDS の CDC を Kafka でストリーミングし Iceberg テーブルへ配信し分析基盤を構築しました。
その際に RDS のメトリクスから Kafka への流入量を試算するスクリプトを作成しましたので公開します。

SaaS への見積もりで流入量が必要だったので、スクリプトで試算した数値と合わせてスクリプトも提出した所、概ね問題ないことを確認いただけました。

続きを読む

Nginx で ELB のヘルスチェックのログを出力させない

概要

ELB のヘルスチェック時の User-Agent ($http_user_agent) が ELB-HealthChecker の場合に、ログをオフにする設定の備忘録です。

1
2
3
4
5
6
7
8
9
http {
...
map $http_user_agent $loggable {
~ELB-HealthChecker 0;
default 1;
}

access_log /var/log/nginx/access.log ltsv if=$loggable;
}

access_log のパラメータ if で条件を指定でき、アクセスログの出力の on/off が可能です。

続きを読む