Kafka消息系统

 

1.前言

1.1 包路径和源码

　　二进制包：[下载地址]    源码：[下载地址]

 

1.2 适用场景：TB级以上的数据

1.3 数据量

1.4 发送消息手段

　　单播：当所有的Consumer都归属于一个Consumer Group时，可以指定。

　　广播：有多个Consumer Group时，则每个Consumer Group中都可以接收到同样的消息。

1.5 认证协议：SASL_PLAINTEXT

2.时序图

 

3.关键配置项

备注：kafka适用于linux环境中，解压并配置环境变量KAFKA_HOME，修改配置项即可使用。

Zookeeper配置项：zookeeper.properties

消费者配置项：consumer.properties

生产者配置项：producer.properties

Kafka配置项：server.properties

4.生产者实现步骤KafkaProducer

读取生产者配置项

实例化ProducerConfig，并设置属性

实例化KeyedMessage，构造消息

实例化Producer，并send消息

5.消费者实现步骤KafkaConsumer

读取kafka配置文件中zookeeper链接字符串

实例化ConsumerConfig，并设置属性

创建Kafka连接器

通过topic获取数据流

关闭kafka链接

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有