Redmine性能优化方案

近来公司redmine服务器表现很糟糕,在16核,64GRAM的机器上,压测结果竟然只有每秒5~7个请求,部分页面一个都出不来。

 

以下是我对Redmine性能优化方案: 

redmine服务器性能问题排查与优化建议:

 
以下建议的方案是基于redmine运行期的log文件中的render耗时、activerecord耗时,linux系统性能指标采样与 mysql 性能指标采样分析,以及redmine在不同web server下的benchmark而得:
 
一. 问题排查与定量分析
通过分析redmine运行期的log,对比mysql高峰时段的请求量与此时系统cpu、mem、disk、iowait等指标,以及我在本地的相同环境下的伪造并发量的性能测试结果,可以看出服务器中高峰时段并未有效利用cpu与内存. 最主要的4个原因是:
1. rails框架过于笨重,运行效率低,
2. 一个ruby进程只能利用单核cpu,其多线程受GIL所控,多线程效率较低,无法有效利用多核cpu,因此在高峰时段只有passenger进程占用的几个cpu满载,其余利用率基本为0。
3. 目前redmine的发布方式是apache+passenger, passenger没有进过优化,只开启了6个worker,而且只是进程级支持,这导致了iredmine服务器的吞吐量非常低。
4. mysql的运行模式没有进过优化配置,基本裸跑。
 
1.1 性能指标说明:
linux性能指标数据使用shell脚本来采集,已经存储,如需分析可以参考如下:
  1. linux系统采样脚本:在~/performanceLog/collectLog.sh中,或者看这篇linux系统性能指标的采集博客;
     采样结果在~/performanceLog下,以日期命名的文件中。
     注: 如果以后想使用此脚本采集数据,如果mysql的地址或者目录有更换,此脚本中dstat 的mysql相关数据的采集需要重写其mysql连接部分的代码。
  2. mysql的指标数据可以通过运行如下命令: 
      mycheckpoint –user=root –password=xxxx –socket=/redmine/mysql/tmp/mysql.sock –database=mycheckpoint http
      然后浏览器打开: http://172.26.1xx.xx:8080/mycheckpoint/ 可以查看mysql的各项指标。
 
1.2 redmine服务器的压测、benchmark定量分析方法说明:伪造并发http请求,查看每秒并发10个请求时,不同web server的性能表现。
针对不同web server的负载测试方法如下:
在量化性能时,本方案带来的的性能提升时,为了方便ab测试,建议关闭redmine代码中csrf保护,并利用session,自动登陆,以保证测试的地址有sql操作,确保测试过程包含sql请求,方法如下:
 
取消csrf保护方法:
找到redmine发布的代码中controller目录下的ApplicationController.rb文件,将其中的csrf保护函数protect_from_forgery中cookie.delete(auto_cookie_name)行注释掉。 (production模式记得调回来)
 
ab模拟并发测试步骤:
0.  ./ctlscript.sh stop apache
1.  使用puma -w 16 -t 16 -p 8080 /redmine/apps/redmine/htdocs/config.ru启动 redmine
2.  chrome浏览器,打开url, 查看inspect tools, 复制cookies
3.  使用ab工具: ab -n 800 -c 16  -H “Cookie: Key1=Value1; Key2=Value2”   http://localhost:8080/issues/48575
 
 
二:优化方案说明:
1. 并发量过大时反应慢的问题                                 #ok,使用multi-process * multi-thread的 web server
2. 数据库读写性能过低                                          #ok,打开mysql查询缓存等。
3. 使用异步io库em-Synchrony,提升IO吞吐量。      #failed, 经测试,不稳定,接口版本有时不匹配,需3.1以上版的rails。
4. 使用rubinus or jruby 提升执行性能                     #failed,经测试jruby 内存损耗太大, rubinus有兼容性问题。
5. 去除rails默认加载的非必需的middleware             #rails默认加载20多个中间件,有些是无需的。
 
进过以上几个步骤的优化调整,进过ab测试发现,吞吐量可以提升2到3倍, 负载能力也有提升,但没有去测极限数据。
 
 
三:web服务器优化建议:
     建议使用多进程多线程版的puma替代多进程单线程passenger, 或者 任然使用passenger,但是配置成默认开启14个worker,方便高峰时段留两个cpu给mysql使用。 另外, 由于puma可以一定程度利用多线程来serve http请求,为了保证线程安全,需修改iredmine代码: 
    添加config.threadsafe!到config/enviroment目录下的production.rb文件中
    # enable multithread, and keep thread safe.
    config.threadsafe!
1. puma的使用: 启动14个工作进程*16个线程,提升吞吐率。
    puma -w 14 -t 16 -p 8080 /redmine/apps/redmine/htdocs/config.ru
 
2. 配置passenger方法:
    配置文件在:/redmine/apache2/conf/bitnami 目录下,添加以下:
    PassengerMaxPoolSize 14
 
 
四:mysql服务器优化建议:
mysql的服务器优化主要依赖mycheckpoint采集的mysql性能指标可视化之后的分析,以及mysqltuner.pl的调优建议。
1. 在mysql的配置文件中开启一下设置(以下有两个变量设置后需要重启mysql):
    Threads_cached  -> ON
    thread_cache_size = 64;
    query_cache_size (>= 8M)
    join_buffer_size (> 128.0K)
    tmp_table_size (> 16M)
    max_heap_table_size (> 16M)
    thread_cache_size (start at 4)
    table_open_cache (> 800)
    innodb_buffer_pool_size (>= 371M)
另外还有: thread_concurrency = 32;  (cpu*2)
关于mysql的用户请求压力情况,请查看http://172.26.1xx.xx:8080/mycheckpoint/
 
 
五:rails优化建议: 删除不需要的middleware
请联合目前redmine插件开发人员,根据当前rails的实际middleware使用情况进行筛选删除。
方法:可以在application configuration 文件中添加以下代码来删除。
# config/application.rb
config.middleware.delete “Rack::Lock”
config.middleware.delete ‘Rack::Cache’                          # 整页缓存,似乎在redmine中没有用上。
config.middleware.delete ‘Rack::Runtime’                      # 记录X-Runtime(方便客户端查看执行时间)
config.middleware.delete ‘ActionDispatch::RequestId’     # 记录X-Request-Id(方便查看请求在群集中的哪台执行)
config.middleware.delete ‘ActionDispatch::RemoteIp’      # IP SpoofAttack
config.middleware.delete ‘ActionDispatch::Callbacks’       # 在请求前后设置callback
config.middleware.delete ‘ActionDispatch::Head’             # 如果是HEAD请求,按照GET请求执行,但是不返回body
config.middleware.delete ‘ActionDispatch::BestStandardsSupport’ # 设置X-UA-Compatible, 在nginx上设置
等等。。
 
 
六: 去除production 模式下rails不需要的log 与 某些异常的修正。
1. 由于在production.log中发现了大段的debug模式才需要的log全部输出到了log文件中,耗时较长,建议删除。
2. 某些url出现了 runexception. 建议修正, 或者在 middleware中去除名称为: use ActionDispatch::ShowExceptions
use ActionDispatch::DebugExceptions

 

七: 部分redmine插件写的比较糟糕,render耗时长达3000ms 

 

相关信息:

1. linux系统性能定位与排查: http://www.cnblogs.com/ToDoToTry/p/4423577.html

2. redmine的ab压力测试方法:http://www.cnblogs.com/ToDoToTry/p/4442384.html

3. mysql性能记录与分析:http://www.cnblogs.com/ToDoToTry/p/4394249.html

4. mysql优化工具:

5. linux IO问题分析与排查:

6. mysql性能测试工具与方法: 

Posted in 使用技巧.