添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
“kafka_broker_list” =“k1:9092,k2:9092,k3:9092”,
“kafka_topic” = “topic”,
“property.kafka_default_offsets”=“OFFSET_BEGINNING”,
“property.group.id” = “groupId”
大佬们,帮忙看下,配置了OFFSET_BEGINNING 和group.id 为啥删除routine load 后再重建(group.id不变)会导致从起始位置开始消费,不会从消费者组的已消费的位点接着消费

文档上说默认的是OFFSET_END ,发现有个问题就是,这个在删除routine load 到重建routine load 期间,kafka生产者产生的消息不会消费了,导致丢消息。
昨晚想了一个方案,就是自己配置消费点位,先暂停(pause)routine load,记录此时已经消费到的OFFSET位置再删除routine load,然后在重建routine load 的时候指定分区的OFFSET(不过这个方案比较麻烦的就是如果分区数过多,需要配置每个分区的OFFSET)