一、认识 Kafka

Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。

Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。

1. kafka 架构

Kafka 的整体架构非常简单，是显式分布式架构，主要由 producer、broker（kafka）和 consumer 组成。

Producer（生产者）可以将数据发布到所选择的 topic（主题）中。生产者负责将记录分配到 topic 的哪一个 partition（分区）中。可以使用循环的方式来简单地实现负载均衡，也可以根据某些语义分区函数（如记录中的key）来完成。

Consumer（消费者）使用一个consumer group（消费组）名称来进行标识，发布到 topic 中的每条记录被分配给订阅消费组中的一个消费者实例。消费者实例可以分布在多个进程中或者多个机器上。

二、Kafka 到底会不会丢失消息？

在讨论 kafka 是否丢消息前先来了解一下什么是消息传递语义。

message delivery semantic 也就是消息传递语义，简单说就是消息传递过程中消息传递的保证性。主要分为三种：

• at most once：最多一次。消息可能丢失也可能被处理，但最多只会被处理一次。
• at least once：至少一次。消息不会丢失，但可能被处理多次。可能重复，不会丢失。
• exactly once：精确传递一次。消息被处理且只会被处理一次。不丢失不重复就一次。

理想情况下肯定是希望系统的消息传递是严格 exactly once，也就是保证不丢失、只会被处理一次，但是很难做到。

回到主角 Kafka，Kafka 有三次消息传递的过程：

• 生产者发消息给 Kafka Broker。
• Kafka Broker 消息同步和持久化
• Kafka Broker 将消息传递给消费者。

在这三步中每一步都有可能会丢失消息，下面详细分析为什么会丢消息，如何最大限度避免丢失消息。

三、生产者丢失消息

先介绍一下生产者发送消息的一般流程（部分流程与具体配置项强相关，这里先忽略）：

1. 生产者是与 leader 直接交互，所以先从集群获取 topic 对应分区的 leader 元数据；
2. 获取到 leader 分区元数据后直接将消息发给过去；
3. Kafka Broker 对应的 leader 分区收到消息后写入文件持久化；
4. Follower 拉取 Leader 消息与 Leader 的数据保持一致；
5. Follower 消息拉取完毕需要给 Leader 回复 ACK 确认消息；
6. Kafka Leader 和 Follower 分区同步完，Leader 分区会给生产者回复 ACK 确认消息。

生产者采用 push 模式将数据发布到 broker，每条消息追加到分区中，顺序写入磁盘。消息写入 Leader 后，Follower 是主动与 Leader 进行同步。

Kafka 消息发送有两种方式：同步（sync）和异步（async），默认是同步方式，可通过 producer.type 属性进行配置。

Kafka 通过配置 request.required.acks 属性来确认 Producer 的消息：

• 0：表示不进行消息接收是否成功的确认；不能保证消息是否发送成功，生成环境基本不会用。
• 1：默认值，表示当 Leader 接收成功时确认；只要 Leader 存活就可以保证不丢失，保证了吞吐量。所以默认的 producer 级别是 at least once。
• all：保证 leader 和 follower 不丢，但是如果网络拥塞，没有收到 ACK，会有重复发的问题。

如果 acks 配置为 0，发生网络抖动消息丢了，生产者不校验 ACK 自然就不知道丢了。

如果 acks 配置为 1 保证 leader 不丢，但是如果 leader 挂了，恰好选了一个没有 ACK 的 follower，那也丢了。

如果 acks 配置为 all 保证 leader 和 follower 不丢，但是如果网络拥塞，没有收到 ACK，会有重复发的问题。

四、Kafka Broker 丢失消息

Kafka Broker 接收到数据后会将数据进行持久化存储，你以为是下面这样的：

没想到是这样的：

操作系统本身有一层缓存，叫做 Page Cache，当往磁盘文件写入的时候，系统会先将数据流写入缓存中，至于什么时候将缓存的数据写入文件中是由操作系统自行决定。

Kafka 提供了一个参数 producer.type 来控制是不是主动 flush，如果 Kafka 写入到 mmap 之后就立即 flush 然后再返回 Producer 叫同步 (sync)；写入 mmap 之后立即返回 Producer 不调用 flush 叫异步 (async)。

Kafka 通过多分区多副本机制中已经能最大限度保证数据不会丢失，如果数据已经写入系统 cache 中但是还没来得及刷入磁盘，此时突然机器宕机或者掉电那就丢了，当然这种情况很极端。

五、消费者丢失消息

消费者通过 pull 模式主动的去 kafka 集群拉取消息，与 producer 相同的是，消费者在拉取消息的时候也是找 leader 分区去拉取。

多个消费者可以组成一个消费者组（consumer group），每个消费者组都有一个组id。同一个消费者组的消费者可以消费同一 topic 下不同分区的数据，但是不会出现多个消费者消费同一分区的数据。

消费者消费的进度通过 offset 保存在 kafka 集群的 __consumer_offsets 这个 topic 中。

消费消息的时候主要分为两个阶段：

1. 标识消息已被消费，commit offset坐标；
2. 处理消息。

先 commit 再处理消息。如果在处理消息的时候异常了，但是 offset 已经提交了，这条消息对于该消费者来说就是丢失了，再也不会消费到了。

先处理消息再 commit。如果在 commit 之前发生异常，下次还会消费到该消息，重复消费的问题可以通过业务保证消息幂等性来解决。

六、总结

那么问题来了，kafka到底会不会丢消息？答案是：会！

Kafka可能会在三个阶段丢失消息：

1. 生产者发送数据；
2. Kafka Broker 存储数据；
3. 消费者消费数据；

在生产环境中严格做到 exactly once 其实是难的，同时也会牺牲效率和吞吐量，最佳实践是业务侧做好补偿机制，万一出现消息丢失可以兜底。

原文链接：https://mp.weixin.qq.com/s?__biz=MzAxNTM4NzAyNg==&mid=2247488785&idx=1&sn=e316974c8201a99b03ed0bbfda0f48b3&chksm=9b8585ecacf20cfab136b6d4563a158025a406f7c973cd71d7812dc85459220ef8297bfa8966&scene=126&sessionid=1606211307&key=faf735c93fd1e4a4c6e12285e0b3b3dd3072ae4d09a2f0d50bdde5272dcacaed27fab049725b579b8722230b7a4d184119087f9f522ec2c0d37ee3560cc2708aa63d0ab36d1709907c34c43f327802b3eb11cbbe963e0438aefc49e3891f2808e1d6124c2fd9fe58f57289a425efa5941d5754323b0f9f5edf8d0093efff0e4e&ascene=1&uin=NzkyMzY5NzYx&devicetype=Windows+10+x64&version=63000039&lang=zh_CN&exportkey=AWFb2GH4oqOQYEabYx5Zd%2FA%3D&pass_ticket=Pws1bdS9kCIczF9PpA4NWfvWOBdmddqpsGn2%2FTT4OU2Dm87jcREtdW4BtUPCETN8&wx_header=0