LVS 분배 순단 현상 발생

L4 부하 발생시점 및 분배 장애 발생시 시스템 점검

 

ifconfig eth0 패킷 드롭 발생

dropped:6519460

메모리 상태 점검

[root@L4 ~]# free -m total used free shared buffers cached Mem: 3979 3812 166 0 466 2769 -/+ buffers/cache: 576 3402 Swap: 2047 0 2047

top 부하 체크

load average: 12.38, 10.21, 7.53

세션 체크

IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP xxx.xxx.xxx.201:80 rr -> xxx.xxx.xxx.184:80 Masq 1 78 6148 -> xxx.xxx.xxx.182:80 Masq 1 73 6153 -> xxx.xxx.xxx.183:80 Masq 1 56 6143 -> xxx.xxx.xxx.186:80 Masq 1 65 6157 -> xxx.xxx.xxx.181:80 Masq 1 68 6144 -> xxx.xxx.xxx.185:80 Masq 1 83 6113 TCP xxx.xxx.xxx.132:80 rr -> xxx.xxx.xxx.144:80 Masq 1 1072 30364 -> xxx.xxx.xxx.142:80 Masq 1 1042 30318 -> xxx.xxx.xxx.143:80 Masq 1 1026 29815 -> xxx.xxx.xxx.140:80 Masq 1 1034 29775 -> xxx.xxx.xxx.139:80 Masq 1 1028 30020 -> xxx.xxx.xxx.135:80 Masq 1 942 30335 -> xxx.xxx.xxx.137:80 Masq 1 1014 29962 -> xxx.xxx.xxx.133:80 Masq 1 1012 30239 -> xxx.xxx.xxx.138:80 Masq 1 1091 29957 -> xxx.xxx.xxx.136:80 Masq 1 1045 30103 -> xxx.xxx.xxx.134:80 Masq 1 1034 30365 -> xxx.xxx.xxx.141:80 Masq 1 1052 30089

결론

위 장애 발생 시점에서 추후 동일한 순단이나 장애를 없애고자 한다면 분배방식이 현재 MASQ 즉 NAT 이다. NAT는 주소 변환이 일어나는 방식이므로 아무래도 분배 세션이 많을수록 LVS에 연산을 많이 하게 된다. DSR (DR) 방식으로 변환하면 로드밸랜서 (LVS)에 부하를 줄일수 있으며 DSR는 바로 리얼서버로  패킷을 분배하고 리얼서버에서 바로 클라이언트로 응답하므로 LVS의 부하를 많이 줄일수 있다. 현재 분배 방식을 유지하고자 한다면 CPU 업그레이드 및 시스템 업그레이드 와 랜카드를  업그레이드 하면 LVS의 부하를 감소 시킬수 있다. GRO 기능을 OFF 해본다 (ethtool -k 확인)