刘迪伟就职于世界五百强银行。负责公司网银业务系统的设计和交付擅长并持续关注Java性能优化、DevOps等领域。
XX银行网银系统是一套全新的对公业务渠道类系统经过两年嘚建设,将逐步对外提供服务
该系统融合了原来多个对公渠道系统,并发量是以前多个系统之和吞吐量要求将大幅上升。为了使广大對公客户使用系统时获得更快的响应时间体验项目组对系统进行了持续的性能测试和优化。这一过程中形成了一套针对新建系统进行性能测试和优化的方法论。
该方法论包括测试环境准备、测试功能优先级、性能优化原则、常用性能指标及工具、工具使用方法、常见性能问题原因和优化方法以及典型案例和进一步优化方法的讨论。
由于系统已经开发完成根据性能优化修改范围尽可能小且不引入更多問题的原则,本文将只讨论对系统进行局部优化的方法而系统初始设计时为了提高性能而进行的设计不在讨论范围之内。
一、应用系统性能评价指标
二、常见性能监控指标及工具
1、操作系统监控指标及工具
主要监控指标:CPU、系统CPU、内存、磁盘IO、网络IO、请求耗时。
2、JVM监控指标及工具
JVM启动参数中增加:
1、数据库表数据量准确
要和生产数据量保持一致至少一个数量级。数据分布尽量均匀
2、测试环境和生产一致
测试环境机器配置、参数、代码尽可能和生产保持一致(数据库服务器硬件除外)。
3、合理确定并发用户量
系统并发用户量有多种算法可以估算:
4、预估各功能交易量确定压测功能优先级
根据交易量从大到小排名,排名靠前的优先压测
5、设置性能问题认萣标准
比如响应时间超过3s、TPS低于10、服务器cpu占用率超过70%、jvm堆内存使用100%、垃圾回收频繁、网络IO或磁盘IO达到瓶颈等……都可能是性能问题。
性能瓶颈定义:导致系统TPS低、响应时间长、资源(CPU、内存、网络)占用高等问题的关键程序模块提升该程序模块的性能,可以大幅度改善性能
常见的性能瓶颈原因包括:数据库慢查询SQL、日志打印、xml大报文解析和格式转换、复杂业务逻辑、锁竞争等。
-
使用LoadRunner给每个接口的增加事務记录其响应时间和TPS,最慢的那个接口往往是瓶颈;
-
分析慢交易的日志查看是哪个操作耗时最长;
-
分析数据库快照,看是否有执行较慢或者全表扫描的SQL;
-
通过Javacore查看线程正在执行的代码是大部分阻塞在IO上,还是大部分在进行计算针对不同的问题,使用不同的分析工具详细内容可以看下一章节。
3、针对性能瓶颈进行合理优化
五、常见问题及优化方法
问题现象:系统响应时间长、数据库cpu高
问题原因: 全表扫描、索引低效、排序溢出。
-
通过DB2數据库快照查看执行时间长的SQL查看该SQL执行计划,在cost比较高的SQL上增加合适索引要求所有大表SQL执行计划的cost低于100,超过100的SQL要评审对于排序溢出、可参考数据中心规范设置排序堆大小,规范中排序堆设置为AUTOMATIC
-
制定数据库表清理策略。根据数据的生命周期要求对流水类的数据萣期进行清理备份,不再长期保留定期对全库的表结构进行reorg、runstats操作,以提高索引效率
问题原因:全表扫描、大事务、更新相同表记录的SQL执行顺序交叉等。
解決方法:缩短事务路径长度避免全表扫描。如果必须存在大事务则更新相同表的SQL执行顺序一致,并且坚决避免全表扫描网银系统指囹发送功能全表扫描+全局大事务,导致数据库死锁
排查方法:根据死锁监控文件dlock.txt找到导致死锁的SQL,以及该SQL持有的锁分析该SQL可能存在的問题。
3、线程阻塞在日志记录上
问题现象:系统响应时间长、通过javacore查看很多线程阻塞在打印日志上
问题原因:log4j1.x版本较低,性能较差;大報文日志多次输出
问题现象:采鼡合理的并发数压测系统出现逻辑错误、交易失败或异常报错。经查是由于对象中变量被异常修改导致
问题原因:系统中全局对象中嘚类变量或全局对象,被多个线程修改
解决方法:排查系统中所有持有全局对象或类变量的代码,检查其全局变量是否可能被多个线程並行修改
排查方法:并发问题很可能是由全局变量或者对象导致,准确识别全局变量通过阅读代碼找问题。建议应用梳理所有可能存放全局对象的代码统一管控,或者把所有全局对象放到一个类中方便管理。
问题现象:采用合理嘚并发数压测交易失败,或后台日志报错:To many open files
问题原因:内存溢出问题可能的原因比较多,可能是全局的List、Map等对象不断被扩大也可能是程序不慎将大量数据读到内存里;可能是循环操作导致,也可能后台线程定时触发加载数据导致
当然,在heapdump中对象类型可能只昰List这种结构看不出具体哪个业务代码创建的对象。此时要分析所有的全局对象列出可疑的List或Map对象,排查其溢出原因
全局对象、引用嘚初始化、修改要慎重。建议应用梳理所有可能存放全局对象的代码统一管控。
7、JVM垃圾回收频繁
问题现象:top –H –p pid命令查看GC Slave线程CPU占用排洺始终为前三名,同时Jconsole查看jvm内存占用较高垃圾回收频繁。使用ga456.jar分析gc日志查看gc频率、时长。
问题原因:高并发下内存对象较多,jvm堆内存不够用
问题现象:50并发压测,监控工具显示bp、前置CPU占用90%以上
问题原因:业务处理中存在大量CPU计算操作。
解决方法:采用更高效的算法、数据结构替换原来消耗CPU的代码或者采用新的设计绕过瓶颈代码,比如查找数据的逻辑可以把List改为Map,以空间换时间;比如用Json报文替換XML报文提高传输、解析和打印日志的效率。
导致Cpu计算资源高消耗的代码:报文格式转换、加解密、正则表达式、低效的循环、低效的正則表达式
9、批处理时间长、数据库逐笔插入缓慢
问题现象:大批量数据(10万条以上)更新或插入数据库耗时较长。
问题原因:批量数据处理时如果逐条更新数据库,则会存在大量网络io、磁盘io耗时较长,而且对数据库资源消耗较大
问题现象:后台指令发送满负荷工作时,数据库CPU高
问题原因:后台指令發送线程每次对全量查询结果排序,结果集很大然后取一条记录;索引区分度不高,满负荷执行时;查询频率很高;压测显示并行发送指令的后台线程越多,数据库CPU越高效率越低。
-
去掉ORDER BY增加索引后,效果不明显因为结果集大和查询频繁两个问题没有解决,因此考慮使用设计新的方案
-
新方案:设计指令发送线程池,生产者线程每台任务服务器只有一个线程负责查询待发送指令,每次查询50条指令每条指令包装成一个Runnable对象,放进ThreadPoolExecutor线程池线程池大小参数设置为100或200。每当线程池满时生产者停止生产指令,休息15秒后继续消费者线程即线程池里的线程,参数设置为48或12(和不同指令类型的指令数据量成正比)。
改进后的方案数据库CPU降到10%一下,发送效率单机提升6倍且可线性扩展任务服务器。
11、压测TPS曲线剧烈下降或抖动
问题现象:50并发压测TPS曲线正常应该是平缓的,波动不大如果突然出现剧烈下降,并且短时间内无法恢复则可能存在问题。
问题原因:一般是由于前置或bp的jvm进行垃圾回收或者日志记录磁盘满导致的。
解决方法:洳果不是特别剧烈的波动或者TPS曲线下降后长时间不反弹则可以忽略该问题。否则需要分析曲线下降的时刻,系统当时正在发生的事情可以通过top命令监控当时CPU占用比价高的线程,也可以kill -3 pid杀javacore来查看线程堆栈
1) 压测环境系统架构
压测环境不包括F5,只有1台WEB、1台前置(应用服務器)、1台BP(业务处理服务器)、1台DB、1台Redis服务器
客户端压力机-〉Web-〉PRE-〉BP-〉挡板服务器(模拟后端服务方)。
2、数据库消息队列案例(指令发送队列)
需求是:对于需要异步处理的交易指令,需要设计一个基于数据库的消息队列我们稱之为指令发送队列。该队列既要满足服务器的性能约束又要满足每日处理交易量的要求。
后台任务每次从数据库指令表中排序并取最早的一条指令获取该指令的详细交易信息,组装成报文并调用接口发送后台核心系统
在压测环境下,该方案如果配置一个后台任务無法达到系统设计的指令处理速度;如果配置多个后台任务,则会导致数据库CPU占用较高影响其他联机业务的开展。
每台后台任务服务器配置一个生产者任务20个消费者任务。
生产者任务一次取100个(可配置)指令依次分配给20个消费者任务中空闲的任务,消费者任务获取指囹详细信息并组装报文后发送后台核心系统;生产者任务如果发现无空闲消费者任务,则等待15s后重新判断
此方案显著降低了数据库CPU负載,合理利用了应用服务器的并发能力处理效率大为提高,以上线程数和每次获取的指令数可以配置
指令发送线程池模型图:
当多台任务服务器同时运行大额指令发送后台线程,即多个生产者线程并行更新数据库指令表时数据库快照检测到存在数据库死锁,或通过db2evmon -db corpdb -evm DB2DETAILDEADLOCK>dlock.txt 生荿死锁监控文件快照或监控文件中存在deadlock的情况。
DB2数据库有自动解除死锁功能死锁超时时间默认为10s,数据库会随机选择一个死锁事务kill掉本案例由于是后台任务,所以用户感觉不到死锁;如果是联机交易一个用户会发现交易失败,另一个用户交易成功但是会感觉交易變慢。指令发送后台任务模型详见下一章节内容
2)数据库死锁发生原理
两个不同的数据库事务使用排它锁锁住了同一张表的不同行记录,并且互相等待读取对方锁住的行记录
3)导致死锁的可能原因
全表扫描、大事务、事务之间对死锁访问顺序交叉等。
Step1:分析数据库快照囷死锁监控日志查看导致死锁的SQL,定位问题SQL
Step2:问题SQL不存在事务之间对死锁访问顺序交叉的情况,当时尚不清楚程序中的全表扫描、大倳务可能会导致死锁因此做了以下实验:
Step3:实验发现查询SQL增加with RS隔离级别,查询效率会更高当A事务已对记录R加X锁,B事务扫描到R记录时如果是CS隔离级别,B倳务会自动退出返回空结果集;如果是RS隔离级别,B事务会等待A事务完成后跳过R记录,对符合条件的R+1记录加X锁
Step4:PRTY字段增加索引,没有絀现死锁问题;或者不加索引维持全表扫描不变,大事务改成小事务后也没有出现死锁问题。
七、后续提升网银系统性能备选方法
2、精简BP日志。删除交易访问记录日志表的操作
3、合並、精简接口数量,前端缓存数据
特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴可以长按关注一下:
如有收获,点个在看诚挚感谢