kafka 配置 kerberos 中遇到的问题_requirement failed: inter.broker.listener.name mus

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

老实的玉米 · springboot+kafka中@Kafk ...· 19 小时前 ·

飘逸的米饭 · kafka（启动集群，集成spring，自定 ...· 19 小时前 ·

俊秀的遥控器 · Staying on topic: ...· 3 小时前 ·

豪情万千的皮带 · 竞彩篮球周四307推荐：公牛VS热火_竞彩篮 ...· 1 月前 ·

豪情万千的板凳 · AI芯片龙头地平线即将赴港上市，估值高达62 ...· 5 月前 ·

非常酷的皮蛋 · 前端项目规范2：JS代码规范（ESLint ...· 1 年前 ·

淡定的金鱼 · 字节&Leetcode3：无重复字符的最长子 ...· 1 年前 ·

淡定的打火机 · PyQt5 切换页面 ...· 1 年前 ·

问题：
requirement failed :inter.broker.listener.name must be a listener name defined in adverstised.listeners. the valid options based on currently configured listeners are PLAINTEXT
原因：
server.properties 中设置了重复的 adverstised.listeners 或者未设置 adverstised.listeners
解决方法 ：
删除掉重复的 adverstised.listeners 或者重新设置 adverstised.listeners 就行

问题：
could not find a ‘kafkaserver’ or ‘sasl_plaintext.kafkaserver’ entry in the jaas configuration
原因：
在 kafka-run-class.sh 中配置export KAFKA_OPTS=" -Djava.security.auth.login.config=etc/kafka/kafka_server_jaas.conf" 可能会读取不到属性。
解决方法 ：
建议直接将 export KAFKA_OPTS=" -Djava.security.auth.login.config=etc/kafka/kafka_server_jaas.conf" 配置到 bin/kafka-server-start 中

问题：
socket server failed to bind to 9092 cannot assign requested address
原因：
produce.properties 中设置了 bootstrap.servers=node-109:9092
解决方法 ：
修改为 bootstrap.servers=localhost:9092

问题：
Failed to acquire lock on file .lock in /data/kafka/kafka-logs. A kafka instance in another process or thread is using this directory.
原因：
未知。
解决方法 ：
rm -f /data/kafka/kafka-logs/.lock
如果仍然报错：
rm -rf /data/kafka/kafka-logs

问题：
No JAAS configuration section named ‘Server’ was foundin ‘/usr/local’
原因：
jaas.conf 文件中 keytab 或者 principal 属性值的双引号错误或丢失，或者文件末尾的分号丢失。
例如：

Server {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab=/keytabs/vdev-solr-01.keytab
storeKey=true
doNotPrompt=true
useTicketCache=false
debug=true
principal=HTTP/<snip>;
解决方法：
 给 jaas.conf 文件中 keytab 或者 principal 属性值添加上双引号，文件末尾添加分号，确保文件正确。
 如下： 
Server {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/keytabs/vdev-solr-01.keytab"
storeKey=true
doNotPrompt=true
useTicketCache=false
debug=true
principal="HTTP/<snip>";
1.SASL/GSSAPI 从版本0.9.0.0开始支持
2.SASL/PLAIN 从版本0.10.0.0开始支持
3.SASL/SCRAM-SHA-256 以及 SASL/SCRAM-SHA-512 从版本0.10.2.0开始支持
其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下具体的配置过程，confluent kafka模块底层依赖于librdkafka，这是使用c编写的高性能的kafka客户端库，有好多语言的库都是依赖于这个，所以GSSAPI接口的开启
                                    在Kafka中，可以自定义授权这样就可以实，现额外的控制或增加新的访问控制类型，比如基于角色的访问控制。下面的自定义授权器限制了只有内部监听器可以处理某些请求。// 如果不是内部请求，并且ACL是创建和删除的操作，禁止执行 if(!} else {// 如果是内部请求，执行默认的授权逻辑 return super . authorize(context , actions);} } }
近来，老有朋友询问Kafka SASL配置 &amp;amp; Demo测试
这篇文章的相关内容。近来无事，准备将所以的组件打成镜像。此处，便讲的为 Kafka SASL/PLAIN权限验证镜像模块的构建。
前置熟悉文章：
Kafka SASL配置 &amp;amp; Demo测试
Kafka常用命令(带SASL权限版)
First Try
由于Docker化的Kafka存在一定的缺陷和问题。第一次尝试的...
首先在搞这个问题的时候 【Kafka】Kafka inter.broker.listener.name must be a listener name defined in advertised.listeners
启动Kafka报错
[2020-08-07 18:45:08,786] WARN [SocketServer brokerId=1] Unexpected error from localhost/127.0.0.1; closing connection (org.apache.k.
                                    文章目录核心参数listenersadvertised.listenerslistener.security.protocol.mapinter.broker.listener.name配置外网访问配置实例可能会出现的问题listener_name不能相同inter.broker.listener.name must be a listener name defined in advertised...
                                    1. Windows系统启动Kafka报错异常，ERROR Shutdown broker because all log dirs in /tmp/kafka-logs have failed
方案：删除 /tmp/kafka-logs(内置ubuntu) 文件夹内所有文件, 删除提示错误的文件夹路径内文件
2. ERROR [KafkaServer id=0] Fatal error during KafkaServer startup. Prepare to shutdown (ka.
某监控进程需要访问多个集群的Kafka
INFO - org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
INFO -  at org.apache.kafka.clients.consumer.KafkaConsumer.<init>(KafkaConsumer.java:765)...
打算做kafka的SASL_SSL权限
listeners=SASL_SSL://localhost:9093,PLAINTEXT://localhost:9092
advertised.listeners=SASL_SSL://localhost:9093,PLAINTEXT://localhost:9092
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
security.inter.broke
                                    Question
之前在构建自己的Kakfa-Cluster的Docker镜像时，遇到一个映射关系的问题。其实，感觉这是Kafka的一个Bug。
即，Kafka在容器内配置localhost:9092，并把端口映射出去。Docker外是无法访问到的。
Solutions
使用advertised.host.name和advertised.host.port 外网映射
requirement ...
                                    报错信息：Caused by: java.lang.IllegalArgumentException: Could not resolve placeholder 'webname' in value "${webname}"
正常的配置，使用config client去访问server，启动client的时候，却出现无法解析变量。
springboot启动的时候，会去application....
背景已经忘记了：
[lcc@lcc ~/soft/kafka/kafka_2.11-1.1.0_author_scram]$ bin/kafka-server-start.sh config/scram.properties
[2020-08-07 15:11:13,464] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)
[2020-08-07 1.