Kafkaのディレイキューの仕組みを教えてください。

2年 ago
夏樹, 風
2 minutes

Kafkaには遅延キューを実現するための機能は標準では含まれませんが、特定の手法で遅延キューの機能を実現できます。以下に、Kafkaベースの遅延キュー実装手法を紹介します。

  1. delayed-messagesとready-messagesという2つの論理トピックを作成します。delayed-messagesは遅延メッセージを格納し、ready-messagesは期限が切れたメッセージを格納します。
  2. プロデューサーはdelayed-messagesトピックに遅延メッセージを送信し、メッセージに有効期限を付けます。
  3. 遅延メッセージを受け取るために、遅延メッセージのトピックからメッセージをコンシューマで読み取ります。 コンシューマは、メッセージの期限が切れているかどうかを判断し、期限が切れている場合はそのメッセージを ready メッセージのトピックに送信します。
  4. 別のコンシューマを起動してready-messagesトピックからメッセージを消費し、対応する処理を行う

Javaクライアントを使用したKafkaの簡単なコード例を以下に示します。

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class DelayedQueueExample {
    private static final String BOOTSTRAP_SERVERS = "localhost:9092";
    private static final String DELAYED_TOPIC = "delayed-messages";
    private static final String READY_TOPIC = "ready-messages";

    public static void main(String[] args) {
        // 创建延迟队列消费者
        KafkaConsumer<String, String> delayedConsumer = createConsumer();
        delayedConsumer.subscribe(Collections.singleton(DELAYED_TOPIC));
        // 创建就绪队列消费者
        KafkaConsumer<String, String> readyConsumer = createConsumer();
        readyConsumer.subscribe(Collections.singleton(READY_TOPIC));

        // 启动延迟队列消费者线程
        Thread delayedConsumerThread = new Thread(() -> {
            while (true) {
                ConsumerRecords<String, String> records = delayedConsumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    long expirationTime = Long.parseLong(record.value());
                    long currentTime = System.currentTimeMillis();
                    if (currentTime >= expirationTime) {
                        // 将消息发送到就绪队列
                        sendToReadyQueue(record.key(), Long.toString(expirationTime));
                    }
                }
            }
        });
        delayedConsumerThread.start();

        // 处理就绪队列消息
        while (true) {
            ConsumerRecords<String, String> records = readyConsumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                // 处理消息
                System.out.println("Received message: " + record.value());
            }
        }
    }

    private static KafkaConsumer<String, String> createConsumer() {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "delayed-queue-consumer");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        return new KafkaConsumer<>(props);
    }

    private static void sendToReadyQueue(String key, String value) {
        try (Producer<String, String> producer = createProducer()) {
            producer.send(new ProducerRecord<>(READY_TOPIC, key, value));
        }
    }

    private static Producer<String, String> createProducer() {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        return new KafkaProducer<>(props);
    }
}

ただし、消費者によるメッセージのプルは一定間隔で行われるため、この方式ではメッセージの有効期間の正確性は保証できません。より正確な遅延キューの実装が必要な場合は、RabbitMQ、ActiveMQ などの専用のメッセージキューミドルウェアの使用を検討してください。これらには、より便利な遅延メッセージ機能が用意されています。

bannerAds