java web开发总结(二):linux + apache2.2(prefork模式) + jk1.2.26 + tomcat6负载均衡配置优化

java web开发总结(二):linux + apache2.2(prefork模式) + jk1.2.26 + tomcat6负载均衡配置优化
2011年03月08日
　　目前总结出来的一些优化配置： 
　　配置适用环境 linux + apache2.2(prefork模式) + jk1.2.26 + tomcat6 
　　(a)apache端需要配置的核心参数：apache/conf/httpd.conf 
　　worker.list=loader     
　　worker.loader.type=lb  
　　#两tomcat负载均衡  
　　worker.loader.balance_workers=tomcat1,tomcat2  
　　#不同步session  
　　worker.loader.sticky_session=false      #负载1  
　　worker.tomcat1.type=ajp13  
　　worker.tomcat1.host=localhost  
　　worker.tomcat1.port=8009  
　　#负载均衡因子，决定apache分发的比例  
　　worker.tomcat1.lbfactor=1  
　　worker.tomcat1.socket_timeout=10#配置超时时间  
　　worker.tomcat1.connection_pool_timeout=600#配置关闭空闲连接时间  
　　#负载2  
　　worker.tomcat2.type=ajp13  
　　worker.tomcat2.host=localhost  
　　worker.tomcat2.port=8109  
　　#负载均衡因子，决定apache分发的比例  
　　worker.tomcat2.lbfactor=1  
　　worker.tomcat2.socket_timeout=10#配置超时时间  
　　worker.tomcat2.connection_pool_timeout=600#配置关闭空闲连接时间  
　　worker.list=loader worker.loader.type=lb #两tomcat负载均衡 worker.loader.balance_workers=tomcat1,tomcat2 #不同步session worker.loader.sticky_session=false #负载1 worker.tomcat1.type=ajp13 worker.tomcat1.host=localhost worker.tomcat1.port=8009 #负载均衡因子，决定apache分发的比例 worker.tomcat1.lbfactor=1 worker.tomcat1.socket_timeout=10#配置超时时间 worker.tomcat1.connection_pool_timeout=600#配置关闭空闲连接时间 #负载2 worker.tomcat2.type=ajp13 worker.tomcat2.host=localhost worker.tomcat2.port=8109 #负载均衡因子，决定apache分发的比例 worker.tomcat2.lbfactor=1 worker.tomcat2.socket_timeout=10#配置超时时间 worker.tomcat2.connection_pool_timeout=600#配置关闭空闲连接时间
　　(c)tomcat/conf/server.xml配置： 
　　
　　优化配置核心关键： 
　　（一）prefork模式下(其他模式下不适用)，apache需要优化的主要参数：
　　ServerLimit       3000 
　　StartServers      750 
　　MinSpareServers   5 
　　MaxSpareServers   100 
　　MaxClients        3000 
　　MaxRequestsPerChild   10000 
　　首先来看看apache各个参数的意义（引号里引用的是官方文档的描述）： 
　　(1)ServerLimit和MaxClients  服务器最大同时响应请求数 
　　这个就是你当前配置的apache最大的并发响应数，对应的是apache的进程数，两个参数同时修改，MaxClients不得大于ServerLimit参数。 
　　ServerLimit的大小，取决于你系统的资源，每个apache进程默认占用2M内存，基本可以按照这个公式来计算：最大内存*80%/2M=ServerLimit 
　　(2)StartServers  750   启动时默认启动的进程数 
　　这个参数默认是5，因为apache会通过自动启动新进程来增加响应服务的进程数，这个值不做调整的也是可以的，会由默认的5增加到满足服务的进程数，但是会出现开始启动时的卡住。 
　　小启动参数有一个好处：就是可以让传递后后端tomcat的压力缓慢增加上来，而不是一下子增加压力。可以把这个调整到当前服务最大的并发数，当前服务最大并发连接数，可以通过监控apache进程个数：ps -ef | grep httpd | wc -l 来获得。不用调得太大，否则是无谓增加apache通过jk去跟tomcat建立的连接。 
　　注意：apache进程跟tomcat建立连接后，不会释放此连接，会一直保持连接，直到timeout，如果没有timeout时间，就会永久连接。timeout的设置，会在后面jk配置里说明。
　　所以不要一次启动太多的apache进程，只启动足够用的进程即可。其他增加的流量，apache会自动调整进程数，直到MaxClients参数限定的范围。 
　　(3)MinSpareServers 5   最小空闲进程 
　　MinSpareServers指令设置空闲子进程的最小数量。所谓空闲子进程是指没有正在处理请求的子进程。如果当前空闲子进程数少于MinSpareServers ，那么Apache将以第一秒一个，第二秒两个，第三秒四个，按指数递增个数的速度产生新的子进程。 
　　(4)MaxSpareServers 10  最大空闲进程 
　　MaxSpareServers指令设置空闲子进程的最大数量。所谓空闲子进程是指没有正在处理请求的子进程。如果当前有超过MaxSpareServers数量的空闲子进程，那么父进程将杀死多余的子进程。 
　　可以调整这两个参数，但是这两个参数的值不能设得太大，否则apache进程太多，会导致对应开启的tomcat进程也会很多。 
　　官网上关于这两个参数都有这么句话："将此参数设的太大通常是一个坏主意。" 
　　在一台压力大(并发访问2800)的服务器上，MaxSpareServers这个值设置的是200。 
　　设置了这个值的好处是不会有太多的空闲的进程在消耗资源，同时减少apache和tomcat的连接端口。 
　　关闭空闲apache进程的同时，会释放jk连接，同时释放tomcat连接数，进而减少系统资源消耗。 
　　(5)MaxRequestsPerChild   10000 
　　"MaxRequestsPerChild指令设置每个子进程在其生存期内允许伺服的最大请求数量。到达MaxRequestsPerChild的限制后，子进程将会结束。如果MaxRequestsPerChild为"0"，子进程将永远不会结束。 
　　将MaxRequestsPerChild设置成非零值有两个好处： 
　　* 可以防止(偶然的)内存泄漏无限进行，从而耗尽内存。 
　　* 给进程一个有限寿命，从而有助于当服务器负载减轻的时候减少活动进程的数量。 
　　注意 
　　对于KeepAlive链接，只有第一个请求会被计数。事实上，它改变了每个子进程限制最大链接数量的行为。" 
　　也就是说实际上这个时候子进程最大连接数等于MaxRequestsPerChild*MaxKeepAliveRequests 
　　所以在开启KeepAlive后，需要同时设置MaxRequestsPerChild和MaxRequestsPerChild，确保每个apache进程在服务一定请求数后会关闭，重新开启新的子进程，避免apache进程异常导致的内存泄露和资源占用。
　　(6)Keep-Alive 
　　默认：ON 
　　发送的请求，在MaxRequestsPerChild里面只算一个，不管这个连接发送了多少个请求。 
　　(7)MaxKeepAliveRequests 
　　默认：100 
　　"一个建立好的Keep-Alive连接，允许发送的请求的个数。一旦建立连接，要么就是个数达到了断开，要么就是等KeepAliveTimeout时间到了断开连接。 
　　MaxKeepAliveRequests指令限制了当启用KeepAlive时，每个连接允许的请求数量。如果将此值设为"0"，将不限制请求的数目。我们建议最好将此值设为一个比较大的值，以确保最优的服务器性能。" 
　　这个数字的设置，必须考虑在一个时间段内，同一个用户访问你的服务会发多少请求。要结合KeepAliveTimeout参数来考虑。 
　　举个例子，用户需要间隔时间不大于KeepAliveTimeout的时间内，连续请求10个文件，那么这个参数就应该设置成10，如果用户在连续时间里不断请求访问，则这个数值得设置得更多。否则就重新建立连接下载。一旦用户连续进行了10个请求后，并且这个用户肯定在完成这些请求后的5秒内不会再请求，甚至要在之后的很长时间后请求，那么这个KeepAliveTimeout时间就可以设置得很短，以便尽早断开这种用户，把资源让个其他用户。 
　　(8)KeepAliveTimeout 
　　默认：5 
　　"在一个建立好的Keep-Alive连接上，在MaxKeepAliveRequests个数未满的情况下，等待下一个请求的时间。" 
　　如果有请求到达，那么apache等待IO响应的timeout时间时间开始生效，timeout时间没等到响应，连接被断开；如果KeepAliveTimeout时间内，没有请求到达，连接就被断开。 
　　具体设置可以参考配合MaxKeepAliveRequests参数。同时这个参数又受TimeOut参数影响，在一次成功连接中，TimeOut时间内没有等到响应，也会断开连接。 
　　(9)TimeOut 
　　默认：300 
　　"TimeOut指令用于设置Apache等待以下三种事件的时间长度： 
　　1. 接受一个GET请求耗费的总时间。 
　　2. POST或PUT请求时，接受两个TCP包之间的时间。 
　　3. 应答时TCP包传输中两个ACK包之间的时间。 
　　我们计划在发展里程中，逐步把它们分别变得更易配置。计时器在1.2版本之前的默认值为1200，而现在已经设置为300了，但对于绝大多数情况来说仍是足够的。没有把它默认值设的更小的原因在于代码里还有点问题：有时发送一个包之后，计时器没有复位。" 
　　（二 ）调整jk参数配置和tomcat设置
　　jk连接主要给每个worker添加了两个参数： 
　　worker.tomcat1.type=ajp13 
　　worker.tomcat1.host=localhost 
　　worker.tomcat1.port=8109 
　　worker.tomcat1.lbfactor=1 
　　worker.tomcat1.socket_timeout=10 
　　worker.tomcat1.connection_pool_timeout=600 
　　首先来了解一下这两个配置参数： 
　　worker.tomcat1.socket_timeout=10 
　　worker.tomcat1.connection_pool_timeout=600 
　　socket_timeout默认为0 
　　设置JK与远程服务器的Socket连接超时秒数，如果超出此秒数则产生一个错误，并再次重试。如果为0，JK会一直等下去。在连接出现异常的时候，尽快关闭连接，从而保证无用的socket会被回收。 
　　connection_pool_timeout：默认值0，单位秒 
　　在连连池中维护的非活动连接连续多少秒后被释放。如果为0，则不释放。详细可以参考tomcat官方文档，jk在处理连接的时候，是用一个线程池建立跟tomcat的连接，并且把所有连接都放在连接池。如果这个值为0的时候，它就不会释放任何已经空闲的连接，也就是说这个连接池在某个瞬间压力很大的话，被撑大了就不会小下来。所以这个值一定不能使用默认的0，必须修改。官方推荐是10分钟，也就是600秒。一旦设置了这个值，就一定要注意：必 须同时设置对应的tomcat的ajp连接器配置里的connectionTimeout参数大小跟它完全一致！同时必须注意这两个参数单位不一样：jk connection_pool_timeout单位是秒，而tomcat connectionTimeout单位是毫秒。 
　　来解释一下为什么必须设置两个参数完全一致：这两个参数的意思是在连接空闲多长时间后关闭空闲连接(不包括活动的连接)。想象一下这边apache jk模块开启了一个连接A，连接到tomcat的B，这个连接被固化了，保持在连接池里。这个时候，如果A突然关闭，导致的结果是B返回的数据不知道给谁，tomcat会抛出socket异常；如果B突然关闭，则A突然失去连接，无法进行程序响应，会返回错误给用户。这就是所谓的半连接，一半是开的，另 外一半却关闭了，并且这个时候还不知道对方已经关了，程序会一直单方面开启着自己的这一半，导致资源浪费。所以必须设置两个的空闲关闭时间一致，这样两边同时开启，在空闲时间等待到了相同的时间后，同时关闭。这样jk和tomcat建立的连接在空闲时会慢慢变小，从而保证资源不被浪费，空闲的socket被关闭回收。 
　　调整tomcat配置参数 
　　minSpareThreads="100" 
　　maxSpareThreads="200" 
　　connectionTimeout="600000" 
　　空闲线程不用太多，减少系统负载。同时设置 connectionTimeout和jk的connection_pool_timeout一致，保证空闲连接的同时回收。高并发情况下，这个时间可以设置得短一些，比如:20000 ms 
　　此配额的优点是：
　　apache空闲线程少，同时产生的通过jk和tomcat建立的永久连接也少，并且和tomcat的连接能在空闲一定时间后自动回收。占用系统socket连接少。 
　　可以通过以下命令对比查看各状态的socket连接：
　　查看当前tcp/ip连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 
　　查看tcp/ip连接数：cat /proc/net/sockstat 
　　参考文档链接：
　　apache2.2文档：