Kafkaで順番の保持されたメッセージングをどのように保証するか

Kafka通过分区和分区内的偏移量来保证消息的顺序性。

具体的には、Kafkaのトピックは複数のパティションに分割されており、それぞれのパーティションはユニークな識別子（パーティションID）を持っています。そしてプロデューサーがKafkaにメッセージを送信すると、Kafkaはメッセージのキー（存在する場合）またはラウンドロビンアルゴリズムによって、特定のパーティションにメッセージを書き込みます。同じパーティション内のメッセージは、送信された順番で順番に保存されます。

コンシューマーはメッセージを消費するとき、特定の1つ以上のパーティションのデータを消費するように指定できます。コンシューマーは、各パーティションのオフセットをメンテナンスし、すでに消費されたメッセージの位置を記録します。コンシューマーはメッセージをプルするたびに、各パーティションのどのオフセットから消費を開始するかを指定します。これによりコンシューマーは、Kafkaからパーティション内のオフセット順にメッセージを読み取ることができます。

パーティション内メッセージは順序付けられており、コンシューマはパーティションのオフセットの順番にメッセージを消費するので、Kafkaはメッセージの順序性を保証できる。

生産者がメッセージのキーを指定していなかったり、コンシューマーがマルチスレッドで複数のパーティションのメッセージを同時に消費している場合、メッセージの順序は保証されません。そのため、特定の状況下では、メッセージの順序を保証するために、メッセージのキーを指定するか、コンシューマーが複数のパーティションを同時に消費することを制限する必要があります。