Analyse de logs

Je viens d’hériter d’un site qui a en gros 2 à 3 millions de connexions par semaine [edit: j’avais dit par jour] (les logs font en gros 300M sur une semaine). Bien évidemment des rigolos s’amusent (et ça marche parfois, il y a eu une injection SQL vite réglée mais tout de même). Vu le site, il est facile d’essayer de détecter dans les logs une activité anormale (. J’ai fait un script pas si mal pour la fin de journée, mais vu le trafic, un truc artisanal ne sera pas efficace (n script mal fait prend facilement plusieurs heures, mieux fait un bon quart d’heure, en filtrant j’arrive à 10s mais ça limite la portée du script). Un programme C ou Ocaml ferait bien les choses mais je me dis que cet outil doit sûrement exister.
Quelqu’un a-t-il utilisé un tel programme?

Bonjour,

J’avais mis ça dans mes marques-pages logcheck.org/ , je n’ai pas encore testé, mais cela m’avais semblé intéressant, c’est dans les dépôts.

Est ce que ce genre de logs vous dit quelque chose?

125.88.123.244 - - [15/Oct/2013:04:19:02 +0200] "GET / HTTP/1.1" 408 474 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.56 Safari/536.5" 125.88.123.244 - - [15/Oct/2013:04:19:24 +0200] "X-rqtxrxq: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:02 +0200] "GET / HTTP/1.1" 408 474 "-" "Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0" 125.88.123.244 - - [15/Oct/2013:04:19:24 +0200] "X-gpeabxo: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-cyqgsng: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-gxpkcaz: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-yxdshkb: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-cndppwh: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-ykxokxv: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-ksedzhx: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-luljqot: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-mhccjhd: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-umbgxjo: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-pokqkhc: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-mpctqpp: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-esqknmq: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-mrtlwga: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-ihhrhos: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-torwgux: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:12 +0200] "GET / HTTP/1.1" 400 472 "-" "Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "X-gexumar: 1" 400 306 "-" "-" 125.88.123.244 - - [15/Oct/2013:04:19:17 +0200] "GET / HTTP/1.1" 400 472 "-" "Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0" 125.88.123.244 - - [15/Oct/2013:04:19:25 +0200] "GET / HTTP/1.1" 400 472 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.56 Safari/536.5" Je n’avais jamais fait attention à ce genre de requêtes et ça me laisse perplexe. Je me doute que ça n’est pas innocent mais je ne vois pas ce que le gars expert, je ne crois pas que X-??? soit une méthode d’apache

bonjour,

GET / HTTP/1.1" 400 472 

ce get c’est bien du Apache,
400 mauvaise requete
472 propriaitaire au sgbd

fr.wikipedia.org/wiki/Liste_des_codes_HTTP
JB1

125.88… c’est une adresse ip du pool géré?
je n’ai pas fait de whois

pour le X… ce n’est pas une liste de mot de passe?

que des idées
A+
JB1

vous etes riche en logiciels perso linux sur ce site?
j’ai fait le whois,
j’ai ma petite idée mais c’est diffamant
avec un parefeu bloquer cette @IP
JB1

Le problème n’est pas de bloquer cette IP (chinoise), mais de comprendre à quoi correspondent ces X-???. Ce n’est pas une méthode d’apache. ±a ne me préoccupe plus que ça mais j’aimerai comprendre…