-
Kafka消费者调优
kafka消费速度慢可以尝试以下方法进行调优
1. 根据topic分区数来调整消费者实例数
众所周知,kafka为了保证消息消费顺序topic的每个分区只能被消费者组中一个实例消费。
如果你的topic分区数为36,则可以尝试调整消费者实例数为36,当然这个是消费者ConsumerFactory.concurrency = 1的情况。如果你调整了线程数为n,则你的消费者实例数最优为Math.ceil(36/n)。
2. 开启消费者批量消费
可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)开启批量消费,并配置批量消费数ConsumerFactory.MAX_POLL_RECORDS_CONFIG = 100,默认为500
3. 消费者批量消费多线程处理
消费者使用线程池进行批量消费数据。建议不要使用execute,否则容易失控,建议使用submit然后得到future.get,get的时候会等待线程执行完,这种方式会把本次批量消费完再往下消费。
此时线程池的核心线程数就需要根据业务是IO密集型还是CPU密集型来决定,如果是IO密集型线程数可以多设置些,如果是CPU密集型线程数可以根据核心数来决定。
出处:https://www.cnblogs.com/ubyte/p/16903251.html
栏目列表
最新更新
80386学习(二) 80386特权级保护
80386学习(一) 80386CPU介绍
8086汇编语言学习(十) 8086中断
8086汇编语言学习(九) 8086标志寄存器
8086汇编语言学习(九) 8086标志寄存器
8086汇编语言学习(八) 8086子程序
8086汇编语言学习(六) 8086处理结构化数据
8086汇编语言学习(五) 8086寻址方式
8086汇编语言学习(四) 8086汇编程序的编译
8086汇编语言学习(三) 8086中的段和栈
三大常用数据库事务详解之三:事务运行
三大常用关系型数据库事务详解之二:基
三大关系型数据库事务详解之一:基本概
MongoDB常用命令(2)
MongoDB基本介绍与安装(1)
SQLServer触发器调用JavaWeb接口
SQL Server索引的原理深入解析
SqlServer2016模糊匹配的三种方式及效率问题
SQL中Truncate的用法
sqlserver 多表关联时在where语句中慎用tri
在vscode中使用R时,用快捷键来快捷键入卡
VB.NET中如何快速访问注册表
ASP.NET中图象处理过程详解
Vue(1)Vue安装与使用
JavaScript 语言入门
js将一段字符串的首字母转成大写
纯原生html编写的h5视频播放器
H5仿原生app短信验证码vue2.0组件附源码地
TypeScript(4)接口
TypeScript(3)基础类型