Script pour trouver les pages web modifiées

Support Debian
#1

Bonjour à tous,

Je suis à la recherche d’un programme ou d’un logiciel qui serait capable d’aller analyser les modifications faites à une page HTML.

Mon cas d’utilisation est le suivant : il y a quelques pages que je souhaite consulter régulièrement afin de savoir s’il y a du nouveau (personnes dont je veux suivre les publications, offres d’emploi, etc.). Mais aller écumer à la main toutes ces adresses est fastidieux.

Je souhaiterais donc trouver un moyen d’aller lancer automatiquement des requêtes et d’avoir ensuite un rapport sur ce qui a changé.

Dans l’idéal, je souhaiterais pouvoir spécifier quelle partie de la page doit avoir changé.

Pensez-vous que cela existe ? Sinon faudrait-il le développer ?

Merci d’avance de vos idées !

#2

Salut,

Pour t’aider dans tes recherches, ce domaine s’appelle le web scraping, et c’est très documenté ;-). Ça requiert, la majorité du temps, d’écrire soi-même son script puisque chaque cas est particulier. Des outils automatiques existent (je te laisse chercher), mais les plus efficaces sont payants.

1 J'aime
#3

Excellent, je te remercie pour l’aide opportune ! Je vais voir ça.

#4

voila un site qui fait ce que tu demande et pour couronner le tout.
C’est gratuit. https://changemon.com/

#5

Je suis en train de le tester, il a l’air pas mal :slight_smile:. Ça reste malgré tout très peu paramétrable, mais pour des applications basiques ça peut suffir. Je ferai un retour sur ce fil, si ça intéresse !

#6

Je confirme, c’est basique mais ça fonctionne bien.

On peut choisir un élément HTML relativement enfoui dans le DOM et lui demander de mailer dès qu’il est modifié. Le rapport en lui-même est un peu moche, mais encore une fois pour une question simple sur une page qui ne change pas toutes les heures, ça peut le faire.