消费单节点kafka
要么消费很缓慢
要么报错
Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery
重启节点也没用
单节点情况下coordinator 压力太大了
__consumer_offsets这个元主题的历史消息量分配不均衡
有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞
因为这个元主题的clean policy是compact不是正常的delete,所以会一直累积，并且单节点就会很容易出现这个问题
线上生产慎用
删除__consumer_offsets历史文件
重启节点，待节点重启后recovery完毕，正常
因为这个是个测试开发集群，不用担心历史偏移量的问题，但是如果开发没有管理偏移量，那么我觉得会有丢数据风险，所以
线上生产慎用
今天我在Windows下写了一个scala代码，用spark去
消费
kafka
的数据， 然后报
Group
coordi
nat
or cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is u
nav
ai
labl
e or
invalid
, will
att
empt
redis
covery
这个错误，这个是集群（
kafka
）中ip和hostname对应关系没有配置，解决办法如下：
Windows下修改C:\Windows\System32\driver
错误信息：
Group
coordi
nat
or promote.localdom
ai
n:9092 (id: 2147483647 rack: null) is u
nav
ai
labl
e or
invalid
, will
att
empt
redis
covery
2018-10-29 14:56:52.496 INFO 33656 --- [nt
ai
ner#0-0-C-1] o.a.k.c.c.inte...
前提：启动zookeeper、
kafka
，并分别创建3个主题topic1、topic2、topic3（参考：win10下操作
kafka
）
一、创建maven项目my-test，引入依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
01-15，收到测试同学反馈，操作库存后，库存扩展数据没有变化。库存扩展数据是通过
kafka
消息异步更新的
查看消息处理
通过
kafka
做消息分发，producer和consumer均是同一个应用，消息发送正常，但consumer一直未获取到消息。
应用所有topic的消息均没有被
消费
。
重启应用后，消息
消费
正常。运行一段时间，又重现该问题场景
找运维同事了...
删除zk上存储的信息
但是重建后，发现，
消费
者无法
消费
数据了，但是生成者仍然可以生成数据，并且在shell命令中，
kafka
-console-consumer.sh 是可以生产和
消费
的。
就算是写了一个最普通的
消费
者都无法正常的
消费
。日志有如下错误，或者没有错误。
Caused by: org.apache.
kafka
.common.errors.DisconnectE.
Spring
Kafka
无法提交offset问题：
Group
coordi
nat
or not av
ai
labl
e
在使用Spring
Kafka
时，无法提交offset，提交时
报错
：
2022-05-28 17:24:32.078 INFO 14584 --- [umer_numb-0-C-1] o.a.k.c.c.internals.Abstract
Coordi
nat
or : [Consumer clientId=consumer-consumer_numb-1,
group
Id=consumer_num
Group
coordi
nat
or 10.0.17.89:9094 (id: 2147483646 rack: null) is u
nav
ai
labl
e or
invalid
, will
att
empt
redis
covery
原因：当前
消费
者没有映射
kafka
节点
1.问题描述
2020-11-19 10:07:14.216 INFO 58352 --- [.1.136_8848-dev] c.a.n.client.config.impl.ClientWorker : get changed
Group
Keys:[]
2020-11-19 10:07:14.218 INFO 58352 --- [ge-manage-
group
] o.a.k.c.c.internals.Abstract
Coordi
nat
or : [Consumer clientId=cons
Kafka
消费
者组（Consumer
Group
）是由一组
消费
者实例组成，它们共享同一个
消费
主题。在
Kafka
中，协调器（
Coordi
nat
or）是一个重要的角色，它负责管理
消费
者组内的成员信息、偏移量分配以及分区的
消费
状态。
协调器的主要职责包括：
1. **跟踪成员**：协调器维护每个
消费
者实例的状态，包括其是否活跃，是否已提交
消费
进度等。
2. **分发任务**：当一个新的消息分区产生时，协调器会选择合适的
消费
者（根据负载均衡策略）来处理这个分区的新消息。
3. **领导选举**：当协调器宕机时，
消费
者组内的其他成员可以自动竞争成为新的协调器，确保正常的消息传递。
4. **offset管理**：
消费
者提交
消费
进度到协调器，协调器保存这些信息，使得当
消费
者重启时可以从上次的位置继续
消费
。
对于每个
消费
者组，
Kafka
只有一个协调器，这提高了数据的一致性和可靠性。
消费
者通常需要定期向协调器汇报状态，并获取新的
消费
任务，这就是所谓的“心跳”机制。
不务正业的老唐:
2020全网最全Apache Knox实战总结
upczsh:
