Les mysteres de lynx

Support Debian
#1

Bonjour,
je fais des tests avec lynx…
l’objectif est de récupérer les liens des sites internet.
mon site cible est: http://www.mairie-varennes-sur-teche.fr/
lorsque je vais sur Mozilla ou autre je n’ai aucun problème tout est nickel
mais lorsque je tente de faire un petit dump avec lynx j’ai ce message

lynx --dump http://www.mairie-varennes-sur-teche.fr/ | grep -o ‘http://[^"]*’

Recherche www.mairie-varennes-sur-teche.fr
Connexion HTTP à www.mairie-varennes-sur-teche.fr
Envoi de la requête HTTP.
Requête HTTP envoyée. Attente de réponse.
HTTP/1.1 301 Moved Permanently
Transfert de données terminé
HTTP/1.1 301 Moved Permanently
Utilisation de http://www.mairie-varennes-sur-teche.fr/?mobile=1
Recherche www.mairie-varennes-sur-teche.fr
Connexion HTTP à www.mairie-varennes-sur-teche.fr
Envoi de la requête HTTP.
Requête HTTP envoyée. Attente de réponse.
HTTP/1.1 301 Moved Permanently
Transfert de données terminé
HTTP/1.1 301 Moved Permanently
Utilisation de http://www.mairie-varennes-sur-teche.fr/
Alerte! : Limite des redirection de 10 URL atteinte.

lynx : accès impossible au fichier de départ http://www.mairie-varennes-sur-teche.fr/

je ne comprends pas pourquoi et cette erreur reviens assez régulièrement sur d’autres sites.
avez vous une idée? connaissez vous une autre solution?

Merci de votre aide car la je bloque…
Cordialement
Marc

#2

A première vue, le site est en bois.
http://www.mairie-varennes-sur-teche.fr/ redirige vers http://www.mairie-varennes-sur-teche.fr/?mobile=1 qui redirige vers http://www.mairie-varennes-sur-teche.fr/. Lynx détecte la boucle et s’interrompt.

Le site réagit de cette façon avec lynx peut-être à cause de l’identification du navigateur envoyée par lynx dans l’en-tête “User-Agent”. Tu peux essayer de forcer une autre chaîne d’identification avec l’option -useragent=.

#3

Parceque les sites essayent de s’adapter en fonction du navigateur utilisé. En général si le navigateur n’est pas connu il redirige vers la version mobile qui est normalement plus légère. Mais dans ton cas le site mobile essaye aussi de détecter le navigateur et comme Lynx n’est pas dans sa liste il redirige vers … la version mobile qui …

Donc tu obtient ta boucle de 10 redirection qui est automatiquement arrêté par ton navigateur.

PS : Grillé :egg:

#4

lynx -useragent=“Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14” -dump http://www.mairie-varennes-sur-teche.fr/
fonctionne nickel…merci…