AWS RDS の CDC を Kafka でストリーミングし Iceberg テーブルへ配信し分析基盤を構築しました。
その際に RDS のメトリクスから Kafka への流入量を試算するスクリプトを作成しましたので公開します。

SaaS への見積もりで流入量が必要だったので、スクリプトで試算した数値と合わせてスクリプトも提出した所、概ね問題ないことを確認いただけました。

AWS で複数のアカウントを管理している際、プロファイルの切り替えが面倒になることがあります。
今回は awsume と peco を組み合わせたインタラクティブな AWS プロファイル選択スクリプトを紹介します。

Confluent Cloud の料金体系について、SaaS版と AWS Marketplace版の比較を調べてみました。

※ 本記事は Claude Code で調べ得た内容を Obsidian にまとめさせブログ化してもらいました。初の試み💓

aws_rds_cluster の kms_key_id は Optional (任意) ですが、
これを設定するとどんなメリットがあるか考えたいと思います。

概要

ELB のヘルスチェック時の User-Agent ($http_user_agent) が ELB-HealthChecker の場合に、ログをオフにする設定の備忘録です。

1
2
3
4
5
6
7
8
9

http {
  ...
  map $http_user_agent $loggable {
      ~ELB-HealthChecker  0;
      default             1;
  }

  access_log  /var/log/nginx/access.log ltsv if=$loggable;
}

access_log のパラメータ if で条件を指定でき、アクセスログの出力の on/off が可能です。

備忘録です。

Nginx の設定で、プロセス数を auto にして CPU コア数に委ねる設定があります。

1

worker_processes auto;

Fargate のタスクサイズだとプロセス数はどの程度になるか調査しました。

結果発表

タスクサイズを上げれば、ちゃんと auto で worker プロセス数が増えてくれた。

ちなみに
プロセス数が増えても net.maxsoconn 値は Fargate で変更できない ので
リクエストをより捌く様にするには、タスク数を増やした方が良いです。

ちなみに、以下で同額のコスト♪

• cpu=256, mem=512 × 8 タスク
• cpu=2048, mem=4096 × 1 タスク

タスク数を増やそう！