一、介绍

Apache Kafka 官方提供了两个客户端性能测试脚本，它们的存放位置如下：

• 生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh
• 消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.sh

kafka-producer-perf-test.sh 支持测试的性能指标包括：吞吐量（throughput）、最大时延（max-latency）、平均时延（avg-latency）；kafka-consumer-perf-test.sh 同样支持吞吐量指标，还提供了一些消费端特有的指标，但没有直接提供时延信息。

二、使用

2.1 kafka-producer-perf-test.sh

此脚本用于测试 Kafka 生产消息的性能，可选参数列表如下，加粗项为常用参数。

【示例】

bin/kafka-producer-perf-test.sh --topic perf-test --num-records 1000 --record-size 1024 --throughput -1 --producer-props bootstrap.servers=127.0.0.1:9092 compression.type=lz4

【输入解释】

发送 1000 条大小为 1KB 的消息到地址为 127.0.0.1:9092 的 broker 上的 perf-test 主题，发送时不限制吞吐量，并使用 lz4 算法压缩消息。

执行示例命令后，控制台输出一行测试结果，如下：

1000 records sent, 3424.657534 records/sec (3.34 MB/sec), 13.61 ms avg latency, 255.00 ms max latency, 13 ms 50th, 20 ms 95th, 255 ms 99th.

【输出解释】

成功消费了 1000 条消息，吞吐量为 3424.657534 条/秒 (或 3.34 MB/秒)，平均时延为 13.61 ms，最大时延为 255.00 ms，50 % 的消息延时在 13 ms 内，95 % 的消息延时在 20 ms 内，99 % 的消息延时在 255 毫秒内。

2.2 kafka-consumer-perf-test.sh

此脚本用于测试 Kafka 消费消息的性能，可选参数列表如下，加粗项为常用参数。

【示例】

bin/kafka-consumer-perf-test.sh --bootstrap-server 127.0.0.1:9092 --topic perf_test --messages 1000000 --threads 8 --reporting-interval 1000 --show-detailed

【输入解释】

同时开启 8 个消费线程，从 127.0.0.1:9092 的 broker 上的 perf-test 主题中消费 1000 条消息，每隔 1000 ms = 1 s 打印一次消费进度信息。最后两个参数在消费数量很小的场景下没有什么帮助，比如若消费数量只有 1000，命令瞬间就可以执行返回；但当指定的消费数量很大（如示例中为 1000 万）时，需要 10 s 左右才能消费完，此时定时输出一下进度信息就显得很有用了。

执行示例命令后，控制台输出两行信息，其中第一行为表头，接下来的数行为每秒的进度信息，如下：

time, threadId, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2021-03-25 15:57:59:426, 0, 657.2275, 657.2275, 673001, 673001.0000, 1616659078690, -1616659077690, 0.0000, 0.0000
...

【输出解释】

• time：当前时间，格式由 --date-format 指定
• threadId：线程 ID
• data.consumed.in.MB：消费到的数据总大小，单位为 MB
• MB.sec：消费 TPS，即每秒消费的消息大小
• data.consumed.in.nMsg：消费到的总消息数
• nMsg.sec：消费 TPS，即每秒消费的消息条数
• rebalance.time.ms：消费者组重平衡的耗时，单位为 ms，0 表示没有发生重平衡
• fetch.time.ms：fetch 线程的总耗时，单位为 ms
• fetch.MB.sec：fetch 线程每秒钟获取到的消息大小
• fetch.nMsg.sec：fetch 线程每秒钟获取到的消息数量

【注意】

若没有指定 --show-detailed，则输出信息中的前两项会有所不同，如下：

start.time, end.time, data.consumed.in.MB, MB.sec, ...

• start.time：消费开始的时间，格式由 --date-format 指定
• end.time：消费结束的时间，格式由 --date-format 指定