Googlebot un peu trop curieux... Scan sur FTP

Support Debian
#1

Salut,
J’ai depuis quelques mois des problèmes avec Google: [quote]Googlebot ne peut pas accéder à votre site.[/quote]
C’est emmerdant évidemment…[quote]Nous voudrions effectuer une description ici mais le site que vous consultez ne nous en laisse pas la possibilité.[/quote]

Au début je n’y ai pas trop prêté attention, il ne devrait rien y avoir de bloquant sur ma machine; J’accède bien aux sites, aux fichiers robots.txt

Et puis comme ça renvient régulièrement, j’ai quand même fini par me pencher dessus.
Et en effet googlebot.com est parfois bloqué… pour tentatives de connexions sur mon serveur FTP! :imp:

[code]Lines containing IP:66.249.76.200 in /var/log/syslog

May 24 05:01:37 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [INFO] New connection from crawl-66-249-76-200.googlebot.com
May 24 05:01:37 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [INFO] PAM_RHOST enabled. Getting the peer address
May 24 05:01:44 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [WARNING] Authentication failed for user [anonymous]
May 24 05:01:44 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [INFO] Logout.
May 24 05:01:44 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [INFO] New connection from crawl-66-249-76-200.googlebot.com
May 24 05:01:44 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [INFO] PAM_RHOST enabled. Getting the peer address
May 24 05:01:52 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [WARNING] Authentication failed for user [anonymous]
May 24 05:01:52 mail pure-ftpd: (?@crawl-66-249-76-200.googlebot.com) [INFO] Logout.[/code]

Et c’est régulier…

[code]Lines containing IP:66.249.75.200 in /var/log/syslog

May 21 16:18:36 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [INFO] New connection from crawl-66-249-75-200.googlebot.com
May 21 16:18:36 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [INFO] PAM_RHOST enabled. Getting the peer address
May 21 16:18:43 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [WARNING] Authentication failed for user [anonymous]
May 21 16:18:43 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [INFO] Logout.
May 21 16:18:43 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [INFO] New connection from crawl-66-249-75-200.googlebot.com
May 21 16:18:44 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [INFO] PAM_RHOST enabled. Getting the peer address
May 21 16:18:51 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [WARNING] Authentication failed for user [anonymous]
May 21 16:18:51 mail pure-ftpd: (?@crawl-66-249-75-200.googlebot.com) [INFO] Logout.[/code]

[code]Lines containing IP:66.249.76.8 in /var/log/syslog

May 19 00:11:28 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [INFO] New connection from crawl-66-249-76-8.googlebot.com
May 19 00:11:29 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [INFO] PAM_RHOST enabled. Getting the peer address
May 19 00:11:34 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [WARNING] Authentication failed for user [anonymous]
May 19 00:11:34 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [INFO] Logout.
May 19 00:11:34 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [INFO] New connection from crawl-66-249-76-8.googlebot.com
May 19 00:11:35 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [INFO] PAM_RHOST enabled. Getting the peer address
May 19 00:11:42 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [WARNING] Authentication failed for user [anonymous]
May 19 00:11:42 mail pure-ftpd: (?@crawl-66-249-76-8.googlebot.com) [INFO] Logout.[/code]

Effectivement un “whois” sur les ip donne bien google…

Faut-il que je me plaigne à Google ?
Quel est votre avis ?

#2

il y a peut-être des éléments de réponse là :

google.com/webmasters/tools/?hl=fr

#3

[quote=“agentsteel”]il y a peut-être des éléments de réponse là :
google.com/webmasters/tools/?hl=fr[/quote]

Aucun élément, sauf qu’ils disent que c’est de ma faute… et pour cause.
Si les bots de google sont bloqués ,c’est parce qu’ils viennent fourrer leur nez ou il ne faut pas.

#4

Je te trouve sévère. A mon avis, on peut difficilement reprocher à quelqu’un de tenter un accès anonyme à un serveur FTP.

#5

Bah oui, google indexe tout ce qui lui est accessible, par contre c’est vrai que c’est relativement nouveau, la mention “Nous voudrions effectuer une description ici mais le site que vous consultez ne nous en laisse pas la possibilité.”

en gros, c’est “laisse toi fouiller de fond en comble ou tu disparais de nos resultats de recherche” :stuck_out_tongue:

#6

Ça ne s’arrange pas google ces temps-ci…

#7

Salut,

[quote=“PascalHambourg”]e te trouve sévère. A mon avis, on peut difficilement reprocher à quelqu’un de tenter un accès anonyme à un serveur FTP.[/quote]Fail2ban ne fait pas la différence. Je veux bien qu’il fasse un essai, mais pas 50… Il faudrait que je sache combien de tentatives il exécute. J’ai réglé fail2ban à 3.
Donc soit je peaufine la règle pour ne pas punir les tentatives de anonymous, soit je met googlebot.com et liste blanche (et ça ne me plait pas trop ces options…)
J’ai d’autres possibilités:

Je vais chercher un peu avant de me lancer

#8

Ça me paraît acceptable. De toute façon elles n’ont aucune chance d’aboutir puisque ton serveur n’a pas d’accès anonmyme. Cela constitue une nuisance dans les logs mais pas un problème de sécurité.

[quote=“lol”]soit je met googlebot.com et liste blanche (et ça ne me plait pas trop ces options…)
J’ai d’autres possibilités:

  • interdire le port 21 à googlebot.com[/quote]
    AMA toute mesure basée sur le reverse DNS, qui est potentiellement contrôlé par l’attaquant, est à éviter. Si je veux je peux affecter un reverse en googlebot.com à mon adresse IP.

Mauvaise idée aussi, trop de pare-feux et de dispositifs NAT supposent que les connexions de commande FTP utilisent uniquement le port 21, et leur gestion des connexions de données FTP passives ou actives ne fonctionneront pas avec un autre port.

#9

Salut,

Ça me paraît acceptable. De toute façon elles n’ont aucune chance d’aboutir puisque ton serveur n’a pas d’accès anonmyme. Cela constitue une nuisance dans les logs mais pas un problème de sécurité.[/quote]

Bon, j’ai donc ajouté ça:

#ignoreregex = ignoreregex = .*pure-ftpd: \(.*@<HOST>\) \[WARNING] Authentication failed for user [anonymous]

Je ne suis pas trop sur de mon coup pour la règle, il va falloir surveiller de près pendant quelques jours…

Edit: Un volontaire pour tester ?

#10

Re,

[quote=“lol”]#ignoreregex = ignoreregex = .*pure-ftpd: \(.*@<HOST>\) \[WARNING] Authentication failed for user [anonymous] [/quote]

C’était trop beau et trop simple. Ça ne fonctionne pas…
Si quelqu’un est un peu calé en REGEX fail2ban qu’il n’hésite pas! :023

#11

Je ne suis pas très doué pour les regex, mais je pense qu’il faut échapper le crochet ouvrant [ car sinon il a une signification particulière.

Pourquoi pas toi ? Tu as peur de t’auto-bannir ? Tu peux aussi le faire avec un client FTP local en ligne de commande ; avec un qui permet de spécifier l’adresse source comme tnftp, ça te fait 16 millions d’adresses disponibles dans 127.0.0.0/8.

#12

Salut,
pour le ignoreregex

Par contre c’est un autre filtre qui prend le relais… :laughing:

Je vais augmenter le nombre de tentatives…
Il commence à me gonfler le googlebot…

#13

Salut,

N’est-ce pas Google Penguin (nouvelle version) qui est en cause ?

[quote=“webrankinfo”]Pingouin : un changement majeur dans le référencement Google

Le 24 avril 2012, Google a mis en ligne une nouvelle version de son algorithme de classement, appliquée dans toutes les langues pour tous les pays, intitulée “Penguin”. Ce manchot (communément appelé à tort pingouin) a provoqué des gros changements : de très nombreux sites ont perdu jusqu’à 80% de leur trafic du jour au lendemain.

Cette semaine, le 22 mai 2013, la nouvelle génération de cet algorithme a été mise en ligne, toutes langues confondues. Google a semble-t-il renforcé encore sa détection de techniques de référencement contraires à ses consignes.
[/quote]

#14

Salut,

Non je ne crois pas; Je suis tombé sur articles antérieurs à 2012 sur des blogs qui évoquent les scans de ftp.

Je passe en résolu, mais sachez qu’il n’y a pas grand chose à faire à part laisser google fouiner sur vos serveurs ftp.
Si vous le bloquez vous finissez par être dé-référencés…

J’ai écrit à google abuse pour me plaindre, je n’ai pas encore de réponse, mais je sais déjà ce qu’il vont me répondre…

#15

D’un autre coté, dépendre d’un seul reférenceur pour avoir du trafic sur son site, c’est un peu se tirer une balle dans le pied.
Pour faire de la pub, rien ne vaut la distribution de tracs par des demoiselles en short hyper courts et moulants …
Mais on me dit que sur internet ça s’appelle du spam …

Vivement l’arrivée d’un autre référenceur libre pour concurrencer google :slightly_smiling:

#16

Salut,

[quote=“piratebab”]D’un autre coté, dépendre d’un seul reférenceur pour avoir du trafic sur son site, c’est un peu se tirer une balle dans le pied.[/quote]Rien à voir. Google est le plus curieux, c’est juste le seul bot à se faire prendre la main dans mon ftp…

[quote=“piratebab”]rien ne vaut la distribution de tracs par des demoiselles en short hyper courts et moulants[/quote]Si la cible est masculine c’est certain. Des chippendales pour les dames et une partie de ces messieurs… :mrgreen: