如何保证kafka消息不丢失
2020-04-27 16:02:27来源:博客园 阅读 ()
如何保证kafka消息不丢失
背景
这里的kafka值得是broker,broker消息丢失的边界需要对齐一下:
1 已经提交的消息
2 有限度的持久化
如果消息没提交成功,并不是broke丢失了消息;
有限度的持久化(broker可用)
生产者丢失消息
producer.send(Object msg) ;
?
这个发送消息的方式是异步的;fire and forget,发送而不管结果如何;
失败的原因可能有很多,比如网络抖动,发送消息超出大小限制;
怎么破呢?永远使用带有返回值值的消息发送方式,即 producer.send(msg,callback)
通过callback可以准确的告诉你消息是否发送成功了,发送失败了你也可以有处置方法;
网络抖动: 重发
发送消息超出大小:调整消息大小进行发送
这种情况并不是broker丢失消息了,是producer的消息没有提交成功。
消费者丢失消息
kafka消费消息的模型:
即消费消息,设置好offset,类比一下:
说明时候消费者丢失数据呢?即先更新位移,再消费消息,如果消费程序出现故障,没消费完毕,则丢失了消息,此时,broker并不知道。
怎么破?总是先消费消息,再更新位移;这种可能带来消息重复消费的问题,但是不会出现消息丢失问题;
多线程消费丢失消息
即开启了位移自动提交,多线程处理的时候,如果有一个线程出现问题,但是还是提交了位移,会发生消息丢失。
怎么破? 关闭自动提交位移,消费者端配置参数:enable.auto.commit=false
调优broker参数防止消息丢失
主要通过调整配置来保证kafka消息不丢失。
然后就是producer发送消息一定要使用带回调函数的方法,并对发送失败的情况进行处理。
同时写consumer程序的时候先消费再提交;
小结
本节先限定了kafka消息不丢失是针对broker的,基本要求是:消息已提交到broker,而且至少有一个broker可用;
然后从生产者,消费者,配置参数这三个方面介绍了如何防止kafka的消息丢失。
原创不易,关注诚可贵,转发价更高!转载请注明出处,让我们互通有无,共同进步,欢迎沟通交流。
我会持续分享Java软件编程知识和程序员发展职业之路,欢迎关注,我整理了这些年编程学习的各种资源,关注公众号‘李福春持续输出’,发送'学习资料'分享给你!
原文链接:https://www.cnblogs.com/snidget/p/12783697.html
如有疑问请与原作者联系
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- Flink 如何分流数据 2020-06-11
- 老板让你抗住千万级流量,如何做架构设计? 2020-06-11
- 数据源管理 | Kafka集群环境搭建,消息存储机制详解 2020-06-11
- 如何干掉 if else 策略+工厂 2020-06-11
- 类的继承,方法重新中修饰符如何定义 2020-06-10
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash