Bonjour,
Depuis plusieurs heures mon serveur est très lent pour ouvrir les connexions, en d’autres terme, le time to first byte se compte en dizaine de secondes quel que soit le service demandé. Le ping est <100ms (Je suis à Montréal, le serveur est à Roubaix).
Par exemple lorsque j’ouvre un de mes sites web, la première page est très lente à charger, plusieurs dizaines de secondes, quelle que soit la page. La navigation est ensuite fluide le temps d’une quinzaine de secondes qui correspond au réglages keepAliveTimeout d’apache2.
Lorsque je me connecte au serveur par SSH, la connexion met plusieurs dizaines de secondes à s’établir, une fois ouverte je n’ai pas de problème de lenteur.
Lorsque je me connecte sur le serveur FTP (pure-ftpd), la connexion mets plusieurs dizaines de secondes à s’établir, et tout changement de dossier prend plusieurs dizaines de secondes.
Je n’arrive pas à diagnostiquer le problème…
Il s’agit d’un serveur Debian 6.0.6 OVH SP Mini
Linux nsXXXXXX.my.domain.com 3.2.13-grsec-xxxx-grs-ipv6-64 #1 SMP Thu Mar 29 09:48:59 UTC 2012 x86_64 GNU/Linux
$ free -m
total used free shared buffers cached
Mem: 15945 14752 1192 0 110 13427
-/+ buffers/cache: 1215 14729
Swap: 1026 0 1026
$ top
top - 02:55:04 up 4:40, 2 users, load average: 0.08, 0.06, 0.05
Tasks: 168 total, 2 running, 166 sleeping, 0 stopped, 0 zombie
Cpu(s): 8.4%us, 4.0%sy, 0.0%ni, 85.1%id, 2.4%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 16327796k total, 15127968k used, 1199828k free, 114844k buffers
Swap: 1051064k total, 0k used, 1051064k free, 13750236k cached
$ df -m
Sys. de fichiers 1M-blocs Utilis? Dispo. Uti% Mont? sur
/dev/md1 10213 1459 8243 16% /
tmpfs 7973 0 7973 0% /lib/init/rw
udev 10 1 10 2% /dev
tmpfs 7973 0 7973 0% /dev/shm
/dev/md2 942631 36586 858890 5% /var
[code]$ cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] [faulty]
md1 : active raid1 sda1[0] sdb1[1]
10485696 blocks [2/2] [UU]
md2 : active raid1 sda2[0] sdb2[1]
965746624 blocks [2/2] [UU][/code]
$ lsof -iTCP -sTCP:LISTEN
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
amavisd-n 3871 amavis 5u IPv4 5937 0t0 TCP localhost.localdomain:10024 (LISTEN)
named 3889 bind 20u IPv6 5919 0t0 TCP *:domain (LISTEN)
named 3889 bind 21u IPv4 5924 0t0 TCP localhost.localdomain:domain (LISTEN)
named 3889 bind 22u IPv4 5926 0t0 TCP ns39348.jonathan-experton.com:domain (LISTEN)
named 3889 bind 23u IPv4 5927 0t0 TCP localhost.localdomain:953 (LISTEN)
named 3889 bind 24u IPv6 5928 0t0 TCP ip6-localhost:953 (LISTEN)
apache2 3911 root 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 3911 root 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 3911 root 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 3911 root 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 3984 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 3984 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 3984 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 3984 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 4164 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 4164 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 4164 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 4164 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 4165 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 4165 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 4165 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 4165 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 4166 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 4166 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 4166 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 4166 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 4167 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 4167 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 4167 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 4167 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 4168 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 4168 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 4168 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 4168 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
memcached 4199 nobody 26u IPv4 8242 0t0 TCP localhost.localdomain:11211 (LISTEN)
nginx 4339 root 9u IPv4 6579 0t0 TCP *:www (LISTEN)
nginx 4339 root 10u IPv6 6580 0t0 TCP *:www (LISTEN)
nginx 4340 www-data 9u IPv4 6579 0t0 TCP *:www (LISTEN)
nginx 4340 www-data 10u IPv6 6580 0t0 TCP *:www (LISTEN)
nginx 4341 www-data 9u IPv4 6579 0t0 TCP *:www (LISTEN)
nginx 4341 www-data 10u IPv6 6580 0t0 TCP *:www (LISTEN)
amavisd-n 4342 amavis 5u IPv4 5937 0t0 TCP localhost.localdomain:10024 (LISTEN)
amavisd-n 4343 amavis 5u IPv4 5937 0t0 TCP localhost.localdomain:10024 (LISTEN)
mysqld 4460 mysql 10u IPv4 8632 0t0 TCP *:mysql (LISTEN)
ntop 4529 ntop 1u IPv4 8623 0t0 TCP *:3000 (LISTEN)
dovecot 4782 root 6u IPv4 6979 0t0 TCP *:imap2 (LISTEN)
dovecot 4782 root 7u IPv4 6980 0t0 TCP *:imaps (LISTEN)
dovecot 4782 root 8u IPv4 6981 0t0 TCP *:pop3 (LISTEN)
dovecot 4782 root 9u IPv4 6982 0t0 TCP *:pop3s (LISTEN)
master 4874 root 12u IPv4 8878 0t0 TCP *:smtp (LISTEN)
master 4874 root 109u IPv4 8976 0t0 TCP localhost.localdomain:10025 (LISTEN)
pure-ftpd 4889 root 4u IPv4 9038 0t0 TCP *:ftp (LISTEN)
pure-ftpd 4889 root 5u IPv6 9040 0t0 TCP *:ftp (LISTEN)
sshd 4904 root 3u IPv4 7367 0t0 TCP *:iprop (LISTEN)
sshd 4904 root 4u IPv6 7369 0t0 TCP *:iprop (LISTEN)
munin-nod 4982 root 5u IPv4 9130 0t0 TCP *:munin (LISTEN)
java 5025 root 18u IPv6 9411 0t0 TCP localhost.localdomain:8079 (LISTEN)
java 5025 root 48u IPv6 11930 0t0 TCP *:8983 (LISTEN)
apache2 5504 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 5504 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 5504 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 5504 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 5629 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 5629 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 5629 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 5629 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 5676 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 5676 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 5676 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 5676 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
apache2 5698 www-data 3u IPv4 5947 0t0 TCP localhost.localdomain:880 (LISTEN)
apache2 5698 www-data 5u IPv6 5951 0t0 TCP *:4043 (LISTEN)
apache2 5698 www-data 8u IPv6 5955 0t0 TCP *:tproxy (LISTEN)
apache2 5698 www-data 10u IPv6 5961 0t0 TCP *:http-alt (LISTEN)
pop3-logi 6059 dovecot 4u IPv4 6981 0t0 TCP *:pop3 (LISTEN)
pop3-logi 6059 dovecot 5u IPv4 6982 0t0 TCP *:pop3s (LISTEN)
imap-logi 6060 dovecot 4u IPv4 6979 0t0 TCP *:imap2 (LISTEN)
imap-logi 6060 dovecot 5u IPv4 6980 0t0 TCP *:imaps (LISTEN)
pop3-logi 6887 dovecot 4u IPv4 6981 0t0 TCP *:pop3 (LISTEN)
pop3-logi 6887 dovecot 5u IPv4 6982 0t0 TCP *:pop3s (LISTEN)
imap-logi 6888 dovecot 4u IPv4 6979 0t0 TCP *:imap2 (LISTEN)
imap-logi 6888 dovecot 5u IPv4 6980 0t0 TCP *:imaps (LISTEN)
portsentr 7048 root 0u IPv4 140080 0t0 TCP *:tcpmux (LISTEN)
portsentr 7048 root 1u IPv4 140082 0t0 TCP *:systat (LISTEN)
portsentr 7048 root 2u IPv4 140084 0t0 TCP *:netstat (LISTEN)
portsentr 7048 root 3u IPv4 140086 0t0 TCP *:finger (LISTEN)
portsentr 7048 root 4u IPv4 140088 0t0 TCP *:sunrpc (LISTEN)
portsentr 7048 root 5u IPv4 140090 0t0 TCP *:nntp (LISTEN)
portsentr 7048 root 7u IPv4 140095 0t0 TCP *:uucp (LISTEN)
portsentr 7048 root 8u IPv4 140097 0t0 TCP *:635 (LISTEN)
portsentr 7048 root 9u IPv4 140099 0t0 TCP *:socks (LISTEN)
portsentr 7048 root 10u IPv4 140101 0t0 TCP *:ingreslock (LISTEN)
portsentr 7048 root 11u IPv4 140103 0t0 TCP *:cisco-sccp (LISTEN)
portsentr 7048 root 12u IPv4 140105 0t0 TCP *:5742 (LISTEN)
portsentr 7048 root 13u IPv4 140107 0t0 TCP *:ircd (LISTEN)
portsentr 7048 root 14u IPv4 140109 0t0 TCP *:12345 (LISTEN)
portsentr 7048 root 15u IPv4 140111 0t0 TCP *:12346 (LISTEN)
portsentr 7048 root 16u IPv4 140113 0t0 TCP *:20034 (LISTEN)
portsentr 7048 root 17u IPv4 140115 0t0 TCP *:27665 (LISTEN)
portsentr 7048 root 18u IPv4 140117 0t0 TCP *:31337 (LISTEN)
portsentr 7048 root 19u IPv4 140119 0t0 TCP *:32771 (LISTEN)
portsentr 7048 root 20u IPv4 140121 0t0 TCP *:32772 (LISTEN)
portsentr 7048 root 21u IPv4 140123 0t0 TCP *:32773 (LISTEN)
portsentr 7048 root 22u IPv4 140125 0t0 TCP *:32774 (LISTEN)
portsentr 7048 root 23u IPv4 140127 0t0 TCP *:40421 (LISTEN)
portsentr 7048 root 24u IPv4 140129 0t0 TCP *:49724 (LISTEN)
portsentr 7048 root 25u IPv4 140131 0t0 TCP *:54320 (LISTEN)
pop3-logi 7733 dovecot 4u IPv4 6981 0t0 TCP *:pop3 (LISTEN)
pop3-logi 7733 dovecot 5u IPv4 6982 0t0 TCP *:pop3s (LISTEN)
imap-logi 7734 dovecot 4u IPv4 6979 0t0 TCP *:imap2 (LISTEN)
imap-logi 7734 dovecot 5u IPv4 6980 0t0 TCP *:imaps (LISTEN)
openvpn 8476 nobody 4u IPv4 227801 0t0 TCP *:https (LISTEN)
Le problème est apparu avant d’installer portsentry.
Nginx est installé en reverse-proxy et n’a jamais posé de problème, il écoute sur le port 80 et apache2 passe sur 880 en local seulement.
Openvpn tourne sur le port 443 et j’ai déplacé HTTPS sur le port 4043.
J’ai installé Java pour faire tourner un serveur Apache Solr sur le port 8983 accessible en local seulement (règles iptables).
APC et Memcached tournent ensemble.
Bind9 tourne mais je ne m’en sers pas.
Je n’ai trouvé que 2 choses récentes dans les logs, une petite attaque par brute force sur le serveur pop mais qui a été contenu par fail2ban et cette ligne qui d’après mes recherches est inoffensive même si elle revient très souvent dans le syslog :
Ntop ne montre aucun trafic sortant ou entrant étrange, les logs de pure-ftpd, apache2, dovecot et nginx ne contiennent aucun indice, chkrootkit ne trouve rien d’infecté…
Je pense à une mauvaise configuration, mais le problème est arrivé sans que je la change.
Dernière chose, au cas où ça serait important, cette ligne PHP (Version 5.3.3-7+squeeze14) qui est dans une vue Drupal plante ma vue depuis peu :
Edit : le serveur est à jour et le fait de rebooter ne change rien, le problème est là dès les premières secondes après le démarrage.