-
1、先查看没修改前的test2主题的配置信息:
-
2、 将test2主题下的消息的保存时间删除。
-
3、再查看修改后的test2主题的配置信息:
Kafka并没有提供直接删除特定主题下消息的方法,只能是强制让消息过期之后,再来删除消息。
因此需要指定如下两个配置:
-
控制将指定主题下消息的保存时间设为一个很短时间: retention.ms(为特定主题设置)
-
控制 Kafka 尽快去检查消息是否过期(默认是5分钟检查一次)。 log.retention.check.interval.ms
▲
可通过如下两个属性来强制删除指定主题的消息
retention.ms属性:将该属性设为一个极短的时间,比如1000。
log.retention.check.interval.ms:设置Kafka轮询检查的时间间隔,比如将该该属性设为300000。
这意味着每5分钟,Kafka会对指定主题的消息执行一次检查,检查消息是否过期(超过retention.ms属性设置的时间值),如果过期则删除这些消息。
官网显示:Kafka 默认是5分钟检查一次主题下是否有消息过期
为了方便演示,我这里改成120秒检查一次,演示完要记得注释掉这个配置,不然这么频繁检查会很卡。
配置修改后要重启下kafka。
然后修改test2主题下的消息的保存时间,改成1秒,就是消息存在一秒后就过期。
▲ 将test2主题下的消息的保存时间设为1秒
kafka-configs --bootstrap-server localhost:9092 ^
--alter ^
--entity-name test2 ^
--entity-type topics ^
--add-config retention.ms=1000
修改完消息的过期时间,那么就查看下是否生效:
命令查看:
使用 kafka-configs.bat 命令的 --describe 子命令
——该命令可查看所有对象的信息
kafka-configs --bootstrap-server localhost:9092 ^
--describe ^
--entity-name test2 ^
--entity-type topics
主题下消息的保存(过期)时间已经修改成1秒了
CMAK界面查看:
查看端口为9092的kafka节点,主题是test2,查看内容是从beginning开始就存在的消息:
kafka-console-consumer --bootstrap-server localhost:9092 ^
--topic test2 ^
--from-beginning ^
--property print.timestamp=true ^
--property print.key=true ^
--property print.offset=true ^
--property print.partition=true
此时这个test2主题下没有任何消息,为方便演示,先添加几条消息进去
添加带 key 的消息,相当于生产者发送消息到指定的主题里面去:
kafka-console-producer.bat ^
--bootstrap-server localhost:9092 ^
--topic test2 ^
--property parse.key=true
然后马上查看,发现消息发送成功,test2主题下有这些消息:为了方便,我命令再拷贝一份:
kafka-console-consumer --bootstrap-server localhost:9092 ^
--topic test2 ^
--from-beginning ^
--property print.timestamp=true ^
--property print.key=true ^
--property print.offset=true ^
--property print.partition=true
再检查一遍消息的存活时间,是存活1秒没错
kafka-configs --bootstrap-server localhost:9092 ^
--describe ^
--entity-name test2 ^
--entity-type topics
kafka每个120就会去检查是否有过期的消息,有的话就把过期的消息删除掉,我又把消息的过期时间设置为1秒,所以看过期的消息在120后,是否会被kafka检查到并删除掉:
接下来就等120秒,发现过期消息已经被成功删除了:
查看 test2 主题下,从beginning 一开始到现在的所有消息:
kafka-console-consumer --bootstrap-server localhost:9092 ^
--topic test2 ^
--from-beginning ^
--property print.timestamp=true ^
--property print.key=true ^
--property print.offset=true ^
--property print.partition=true
演示完,把这个设置给注释掉,恢复成默认的,默认是每5分钟检查一次。
若要指定主题的retention.ms配置依然使用默认值,则只要使用kafka-configs.bat命令的 --delete-config 选项删除该配置即可。例如如下命令:
因为上面同通过 --add-config retention.ms=1000 把消息的过期时间设置为1秒,这个设置肯定是不合理的,所以需要把这个设置给删除掉。
kafka-configs --bootstrap-server localhost:9092 ^
--describe ^
--entity-name test2 ^
--entity-type topics
(–delete-config retention.ms 就是删除 retention.ms 这个配置属性)
–alter ^ 表示修改的意思
kafka-configs.bat --alter ^
--bootstrap-server localhost:9092 ^
--entity-type topics ^
--entity-name test2 ^
--delete-config retention.ms
命令行查看:
kafka-configs --bootstrap-server localhost:9092 ^
--describe ^
--entity-name test2 ^
--entity-type topics
发现 retention.ms 这个配置属性 已经被成功删除了,表示消息的过期时间恢复成默认的168小时了。
这个就是默认的消息过期时间:
CMAK 查看:
retention.ms 这个配置属性恢复成默认的了
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:
/a/309771.html
如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱[email protected],一经查实,立即删除!
一、子图融合(subgraph fusion)
1.1 FasterTransformer by NVIDIA
1.2 DeepSpeed Inference by Microsoft
1.3 MLC LLM by TVM
二、模型压…
阅读更多...
OpenCV能够处理图像、视频、深度图像等各种类型的视觉数据,在某些情况下,尽管OpenCV可以显示窗口,但PyQt5可能更适合用于创建复杂的交互式应用程序,而自带GPU的H618就成为了这些图像显示的最佳载体。
这里分享一个代码࿰…
阅读更多...
声明: 该文章仅供网络安全领域的学习使用,请勿利用文章内的相关技术从事任何非法行为。 测试资产为日本IP,因此未做任何打码处理,我们只进行poc(漏洞验证),不进行exp(漏洞利用&#…
阅读更多...
大纲 高斯模糊方框模糊其他算法median_filtermaximum_filterminimum_filterpercentile_filterrank_filtergaussian_laplacecorrelatemorphological_laplacewhite_tophatmorphological_gradientblack_tophat 在《使用numpy处理图片——滤镜》一文中,我们尝试了去掉一…
阅读更多...
路径的操作
获取当前Python程序运行路径不同操作系统之间路径的表示方式
windows中采用反斜杠(\)作为文件夹之间的分隔符 Mac和Linux中采用斜杠(/)作为文件夹之间的分隔符
阅读更多...
前两天买的y7000p到了,然后就要重新配下环境。
首先下载miniconda ,我下的是python3.8的创建自己的自定义环境检查自己的cuda版本,我的是cuda:12.0然后再pytorch上找到对应cuda版本的进行下载,pip install或者conda in…
阅读更多...
FLIP Boundary: Velocity
FLIP Boundary: Pressure
Other methods SOP FLIP流体为生成粒子提供三种Boundary方式(None、Velocity、Pressure); 注,源对象必须是封闭且实体3D或体积对象,开…
阅读更多...
1、在yolov5/models下面新建一个SimAM.py文件,在里面放入下面的代码 代码如下:
import torch
import torch.nn as nnclass SimAM(torch.nn.Module):def __init__(self, e_lambda1e-4):super(SimAM, self).__init__()self.activaton nn.Sigmoid()self…
阅读更多...
局域网window10系统搭建共享文件夹或与手机共享 1、Window 10之间搭建共享文件夹1.1 ping通两台window 10 电脑1.2 创建共享账号(window 10专业版)1.3 创建共享文件夹以及配置1.4访问共享文件夹 2、手机访问window10 共享文件夹(结合步骤一&a…
阅读更多...
这篇文章分享单测经验,希望你能收获到有用的单测知识或者pr思路,填补单测的过程可以深刻理解组件内部的每一个流程,相信一定有所收获。 ant-design-web3 前言查看单测覆盖情况运行命令,本地会生成一份临时目录通过live server打开…
阅读更多...
详情点击链接:如何用GPT制作PPT和写模型代码?
一OpenAI
1.最新大模型GPT-4 Turbo 2.最新发布的高级数据分析,AI画图,图像识别,文档API
3.GPT Store
4.从0到1创建自己的GPT应用
5. 模型Gemini以及大模型Claude2二定…
阅读更多...
1、什么是STP?解决什么问题? STP代表生成树协议(Spanning Tree Protocol)。它是用于在计算机网络中解决环路问题的一种协议。 STP的主要目标是消除环路,保持网络的稳定性和可靠性,同时提供冗余路径以实现网…
阅读更多...
前言 本文是该专栏的第15篇,后面会持续分享python爬虫干货知识,记得关注。
在本专栏前面,笔者有单独详细介绍采集新能源汽车销量榜,感兴趣的同学,可以往前翻阅查看《Python爬虫-新能源汽车销量榜》。而之后,也有很多同学单独私信,那如果要单独采集某个年份,某个月份的…
阅读更多...
这是一篇关于GAN在计算机视觉领域的综述。
生成对抗网络是一种基于博弈论的生成模型,其中神经网络用于模拟数据分布。应用领域:语言生成、图像生成、图像到图像翻译、图像生成文本描述、视频生成。GAN模型能够复制数据分布并生成合成数据&a…
阅读更多...
一. 简述二. 目录规划三. Vite 配置 3.1. 配置路径别名3.2. 配置 less 四. 页面 4.1. 入口文件4.2. 骨架文件4.3. 普通页面 五. 路由配置六. 预览启动
一. 简述
上一篇文章我们介绍了项目初始化,此篇文章我们会先介绍下当前项目的目录规划,接着对…
阅读更多...
一、介绍 统计分类和机器学习领域正在不断发展,努力提高预测模型的准确性和效率。这些进步的核心在于一个基本基准,即贝叶斯理论误差极限。这个概念深深植根于概率和统计学,是理解分类算法的局限性和潜力的基石。本文深入探讨了贝叶斯错误率的…
阅读更多...
文章目录 多级缓存的概述多级缓存的优势 多级缓存的概述
在高性能的服务架构设计中,缓存是一个不可或缺的环节。在实际的项目中,我们通常会将一些热点数据存储到Redis或MemCache这类缓存中间件中,只有当缓存的访问没有命中时再查询数据库。在…
阅读更多...
一、nginx缓存知识 网络缓存位于客户端和 "源服务器 "之间,保存着所有可见内容的副本。当客户端请求缓存中存储的内容时,它可以直接从缓存中检索内容,而无需与服务器通信。这样,网络缓存就 "接近 "了客户端&a…
阅读更多...