Kafka 事务性之幂等性实现 | Matt's Blog

Kafka 事务性之幂等性实现 | Matt's Blog

Apache Kafka 从 0.11.0 开始，支持了一个非常大的 feature，就是对事务性的支持，在 Kafka 中关于事务性，是有三种层面上的含义：一是幂等性的支持；二是事务性的支持；三是 Kafka Streams 的 exactly once 的实现，关于 Kafka 事务性系列的文章我们只重点关注前两种层面上的事务性，与 Kafka Streams 相关的内容暂时不做讨论。社区从开始讨论事务性，前后持续近半年时间，相关的设计文档有六十几页（参考 Exactly Once Delivery and Transactional Messaging in Kafka）。事务性这部分的实现也是非常复杂的，之前 Producer 端的代码实现其实是非常简单的，增加事务性的逻辑之后，这部分代码复杂度提高了很多，本篇及后面几篇关于事务性的文章会以 2.0.0 版的代码实现为例，对这部分做了一下分析，计划分为五篇文章：

1. 第一篇：Kafka 幂等性实现；
2. 第二篇：Kafka 事务性实现；
3. 第三篇：Kafka 事务性相关处理请求在 Server 端如何处理及其实现细节；
4. 第四篇：关于 Kafka 事务性实现的一些思考，也会简单介绍一下 RocketMQ 事务性的实现，做一下对比；
5. 第五篇：Flink + Kafka 如何实现 Exactly Once；

Read full article from Kafka 事务性之幂等性实现 | Matt's Blog