system cpu high

今天又9：20～9：38发生了 system cpu占用很高的情况，逮到100%的core，看到进程基本都堵在了_spin_lock_irq的系统调用。根据这个_spin_lock_irq，外加system cpu搞，google到了。 rhel 6.3里的内核参数， vm.zone_reclaim_mode目前1，需要修改为0，在减少这个现象。
vm.zone_reclaim_mode=1，表示即宁肯回收自己zone的page cache，也不去申请其它zone的free pages
vm.zone_reclaim_mode=0,表示只要其它zone有free pages就去其它zone里申请

# sysctl -a | grep zone_reclaim_mode
vm.zone_reclaim_mode = 0

# sysctl -w vm.zone_reclaim_mode=1
vm.zone_reclaim_mode = 1

参考了网站
http://blog.phpdba.com/post/473
http://mogu.io/156-156
http://eratostennis.hatenablog.com/entry/2015/12/12/201319
http://www.databasesoup.com/2012/08/wrong-defaults-for-zonereclaimmode-on.html
http://blog.etsukata.com/2015/09/hadoop-cpu-system-zonereclaimmode-1.html