Apache NiFi GetKafka的读取偏移量好像无法清除
我是GYAO的座位旁边的工程师玉利。
由于离岸管理工作繁忙,导致个人工作进展缓慢。非常抱歉。
当我久违地启动NiFi并开始工作时,发现之前正常运行的GetKafka似乎出现了问题。
[2016-03-19 18:21:55,250] ERROR [Replica Manager on Broker 0]: Error when processing fetch request for partition [nifi,0] offset 605 from consumer with correlation id 522. Possible cause: Request for offset 605 but we only have log segments in the range 0 to 0. (kafka.server.ReplicaManager)
看起来,`consumer`指针似乎偏移了。它正尝试获取不存在的605号,但似乎已经不在日志中了。
在测试环境中,我们使用GetKafka和命令kafka-console-consumer.sh作为Kafka Consumer进行操作。这种情况可能会在实际运营中遇到以下情况。
- コンシューマを長期間サービスアウトしてて、もどしたらオフセットポインタのデータがすでにkafkaログから消えてた
暫時而言,我做出了很多不夠理想的努力。以下是我所獲得的結果。
最終結論
-
- GetKafkaのオフセットポインタを手動でクリアするのは難しい
-
- GetKafkaは再作成、コピーはオフセットデータも継承するので×
- おそらく、コンテナごと作り直しするのが正しい
大约花了2个小时来修复系统,但在容器时代,重新构建可丢弃模块比修复系统更快速,这是一种设计思想。也许通过修改某个XML文件中存储的数据可以修复,但需要努力……