Apache Kafka 基础

扫码关注公众号:Java 技术驿站

发送:vip
将链接复制到本浏览器,永久解锁本站全部文章

【公众号:Java 技术驿站】 【加作者微信交流技术,拉技术群】

在深入了解Kafka之前,您必须了解主题,经纪人,生产者和消费者等主要术语。 下图说明了主要术语,表格详细描述了图表组件。

201910108005\_1.png

在上图中,主题配置为三个分区。 分区1具有两个偏移因子0和1.分区2具有四个偏移因子0,1,2和3.分区3具有一个偏移因子0.副本的id与承载它的服务器的id相同。

假设,如果主题的复制因子设置为3,那么Kafka将创建每个分区的3个相同的副本,并将它们放在集群中以使其可用于其所有操作。 为了平衡集群中的负载,每个代理都存储一个或多个这些分区。 多个生产者和消费者可以同时发布和检索消息。

S.No 组件和说明
1 Topics(主题)属于特定类别的消息流称为主题。数据存储在主题中。主题被拆分成分区。对于每个主题,Kafka保存一个分区的数据。每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。
2 Partition(分区)主题可能有许多分区,因此它可以处理任意数量的数据。
3 Partitionoffset(分区偏移)每个分区消息具有称为offset的唯一序列标识。
4 Replicasofpartition(分区备份)副本只是一个分区的备份。副本从不读取或写入数据。它们用于防止数据丢失。
5 Brokers(经纪人)代理是负责维护发布数据的简单系统。每个代理中的每个主题可以具有零个或多个分区。假设,如果在一个主题和N个代理中有N个分区,每个代理将有一个分区。假设在一个主题中有N个分区并且多于N个代理(n+m),则第一个N代理将具有一个分区,并且下一个M代理将不具有用于该特定主题的任何分区。假设在一个主题中有N个分区并且小于N个代理(n-m),每个代理将在它们之间具有一个或多个分区共享。由于代理之间的负载分布不相等,不推荐使用此方案。
6 KafkaCluster(Kafka集群)Kafka有多个代理被称为Kafka集群。可以扩展Kafka集群,无需停机。这些集群用于管理消息数据的持久性和复制。
7 Producers(生产者)生产者是发送给一个或多个Kafka主题的消息的发布者。生产者向Kafka经纪人发送数据。每当生产者将消息发布给代理时,代理只需将消息附加到最后一个段文件。实际上,该消息将被附加到分区。生产者还可以向他们选择的分区发送消息。
8 Consumers(消费者)Consumers从经纪人处读取数据。消费者订阅一个或多个主题,并通过从代理中提取数据来使用已发布的消息。
9 Leader(领导者)Leader是负责给定分区的所有读取和写入的节点。每个分区都有一个服务器充当Leader。
10 Follower(追随者)跟随领导者指令的节点被称为Follower。如果领导失败,一个追随者将自动成为新的领导者。跟随者作为正常消费者,拉取消息并更新其自己的数据存储。


作者:w3cschool 来源:https://www.w3cschool.cn

赞(0) 打赏
版权归原创作者所有,任何形式的转载请联系博主:daming_90:Java 技术驿站 » Apache Kafka 基础

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏