トピック内の積み上がったデータ量のKafkaの視点

Kafkaトピックの積滞データ量を確認するには、Kafkaに備わっているコマンドラインツールkafka-consumer-groupsを使用してコンシューマグループの消費状況を取得します。

1. まず、対象のコンシューマーグループのIDを確認します。現在アクティブなコンシューマーグループを確認する場合は、以下のコマンドを実行します。

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

1. そのあと、下記コマンドを実行し、コンシューマグループのコンシューミング状況やコンシューマグループにおけるバックスログのサイズを取得します。

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <consumer_group_id>

を表示したいコンシューマグループの ID に置き換えてください。

出力結果には各コンシューマインスタンスのスタックされたデータ量（LAG）が表示されます。LAGは、コンシューマと最も新しい利用可能なメッセージとのオフセット差異（つまり、スタックされたメッセージの数）を表しています。

この方法では、コンシューマーグループのコンシューム状況を確認できるのみで、トピック内に蓄積された全データ量を直接取得することはできません。トピック内の全蓄積データ量を取得したい場合、各コンシューマーグループを走査し、その蓄積データ量を計算して合計します。