Pas de réception des blacklists de squid3

Saluts,

Mon problème est résumé par le titre.

Mes tentatives avec wget -c, depuis plus de 24 h, sont en échecs !

[code]ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz

ftp://eole.orion.education.fr/maj/blacklists/blacklists.tar.gz

ftp://ftp.univ-tlse1.fr/pub/reseau/cache/squidguard_contrib/blacklists.tar.gz
[/code]

Auriez vous un autre lien, pour les réceptionner … ? S’il vous plaît.

Merci d’avance.

Je vous en serre cinq … :wink:

bonjour, :006

sans prendre part au probleme de wget …sans doute
tu peux copier/coller tes adresses directement dans iceweasel…

pas de soucis sur la première…

je viens de verifier la deuxieme ne fonctionne pas chez moi,les deux autres c’est bon.mais estce le meme paquet a chaque fois?

Pas chez moi, ceci est valable avec les deux autres … :mrgreen:

[code]pc-1-loreleil@Debian-pc-1:~$ wget -c ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
–2011-06-08 21:59:17-- ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
=> «blacklists.tar.gz»
Résolution de ftp.univ-tlse1.fr… 193.49.48.249
Connexion vers ftp.univ-tlse1.fr|193.49.48.249|:21…échec: Connexion terminée par expiration du délai d’attente.
Nouvel essai.

(…)

Nouvel essai.

–2011-06-08 22:08:21-- ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
(essai:20) => «blacklists.tar.gz»
Connexion vers ftp.univ-tlse1.fr|193.49.48.249|:21…échec: Connexion terminée par expiration du délai d’attente.
Abandon.

pc-1-loreleil@Debian-pc-1:~$
[/code]

la deuxieme adresse est plutot celle-ci:

avec wget ,ca marche chez moi

quelle est ta version de wget?

j’ai celle-ci sur une squeeze

root@debian:/home/nawak# apt-cache policy wget
wget:
  Installé : 1.12-2.1
  Candidat : 1.12-2.1
 Table de version :
 *** 1.12-2.1 0
        500 http://ftp.fr.debian.org/debian/ squeeze/main i386 Packages
        100 /var/lib/dpkg/status
root@debian:/home/nawak# 

Re,

Heeeuu :mrgreen: j’avais oublié iptables … :005 Rectifier. Désoler pour le dérangement.

[code]pc-1-loreleil@Debian-pc-1:~$ wget -c ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
–2011-06-08 22:23:31-- ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
=> «blacklists.tar.gz»
Résolution de ftp.univ-tlse1.fr… 193.49.48.249
Connexion vers ftp.univ-tlse1.fr|193.49.48.249|:21…connecté.
Ouverture de session en anonymous…Session établie!
==> SYST … complété. ==> PWD … complété.
==> TYPE I … complété. ==> CWD (1) /blacklist … complété.
==> SIZE blacklists.tar.gz … 7730135
==> PASV … complété. ==> RETR blacklists.tar.gz … complété.
Taille: 7730135 (7,4M) (non certifiée)
100%[================>] 7 730 135 1,05M/s ds 8,6s

2011-06-08 22:23:41 (883 KB/s) - «blacklists.tar.gz» sauvegardé [7730135]
pc-1-loreleil@Debian-pc-1:~$ [/code]

Merci, et Cinq doigts … :wink:

-edit-

ftp commenter depuis plusieurs jours, c’est vraiment couillon de ma part … :013

A ce propos, j’avais développé un script à coller dans /etc/cron.weekly pour automatiser le téléchargement des nouvelles blacklists et la compilation des bases.

Celui ci fait son travail dans un RamDisk, ce qui permets d’obtenir des temps de compilation des bases acceptables sur de petites configurations, dû au grand nombre d’I/O que génère la compilation.

Il est perfectible, mais il fonctionne sur plusieurs machines depuis quelques années :

[code]#!/bin/sh

Fichier /etc/cron.weekly/squidguard_blacklists

Telecharge chaque semaine les listes noires pour squidguard

et met a jour les bases de ce dernier.

Heure a laqelle doit se lancer le script

RUNHOUR=“02:00”

Emplacement du fichier de configuration de squidGuard

et des bases de donnees.

SGCONF="/etc/squid/squidGuard.conf"
SGLIBS="/var/lib/squidguard"
BLKSRC=“ftp://ftp.univ-tlse1.fr/pub/reseau/cache/squidguard_contrib/blacklists.tar.gz

Parametres du RamDisk

RAMDISK="/ramdisk"
RAMSIZE="150m"
RAMCONF=“squidGuard.ram.conf”

Calcul du temps d’attente.

DATENOW=date -d "now" +%s
DATETOWAIT=date -d "${RUNHOUR}" +%s
TIMETOWAIT=expr ${DATETOWAIT} - ${DATENOW}

Si l’heure est deja passee pour aujourd’hui alors on calcule le temps

d’attente pour “demain” a la meme heure

if [ ${TIMETOWAIT} -lt 0 ]; then
DATETOWAIT=date -d "next day ${RUNHOUR}" +%s
TIMETOWAIT=expr ${DATETOWAIT} - ${DATENOW}
fi

Si pas de parametres derriere le script, on attend le nombre de secondes

calculees avant de continuer, sinon on execute directement le script.

if [ -z $1 ]; then
sleep ${TIMETOWAIT}
fi

if [ -d /var/lib/squidguard ]; then
echo ""
echo "Arret de squid …"
service squid stop

# Astuce pour Ubuntu qui comporte un 'bug' lors de l'arret de squid
# Celui ci rendant la main alors que Squid n'est pas forcement arrete
# On attend alors qu'il n'y ait plus de process squid en fonctionnement
pidof \(squid\) >> /dev/null
while [ $? -eq 0 ]; do
	sleep 1
	pidof \(squid\) >> /dev/null
done

echo ""
echo "Telechargement des BlackLists ..."
wget ${BLKSRC} -O ${SGLIBS}/blacklists.tar.gz

echo ""
echo "Decompression des Blacklists ..."
tar zxvf ${SGLIBS}/blacklists.tar.gz -C ${SGLIBS}

echo ""
echo "Suppression des anciennes BlackLists et recreation du repertoire DB ..."
rm -rf ${SGLIBS}/db
mkdir ${SGLIBS}/db || true

echo ""
echo "Deplacement des BlackLists dans la DB et application des droits ..."
mv -f ${SGLIBS}/blacklists/* ${SGLIBS}/db/
chmod 2770 ${SGLIBS}/db

echo ""
echo "Suppression du telechargement ..."
rm -rf ${SGLIBS}/blacklists ${SGLIBS}/blacklists.tar.gz

echo ""
echo "Creation d'un RamDisk de ${RAMSIZE}"
mkdir ${RAMDISK}
mount -t tmpfs ramdisk ${RAMDISK} -o size=${RAMSIZE}

echo ""
echo "Copie du fichier de configuration de squidGuard dans le RamDisk"
cp ${SGCONF} ${RAMDISK}/${RAMCONF}

echo ""
echo "Modification de la copie du fichier de config de squidGuard pour pointer sur le RamDisk"
sed -i "s|dbhome .*|dbhome /ramdisk/db|" ${RAMDISK}/${RAMCONF}

echo ""
echo "Copie des bases dans le RamDisk"
echo ""
rsync -av ${SGLIBS}/ ${RAMDISK}/

echo ""
echo "Compilation des BlackLists ..."
echo ""
echo "  Compilation des domaines :"

for DOMAIN in `cat ${SGCONF} | grep "domain" | grep -v "#" | awk '{print $2}'`; do
	echo "    -> Compilation de ${DOMAIN} ... ";
	nice -n 19 squidGuard -c ${RAMDISK}/${RAMCONF} -C ${DOMAIN}
done

echo ""
echo "  Compilation des urls :"
for URLS in `cat ${SGCONF} | grep "urls" | grep -v "#" | awk '{print $2}'`; do
	echo "    -> Compilation de ${URLS} ... "
	nice -n 19 squidGuard -c ${RAMDISK}/${RAMCONF} -C ${URLS}
done

echo ""
echo "Copie des bases du RamDisk sur le disque dur"
echo ""
rsync -av ${RAMDISK}/db/ ${SGLIBS}/db/

echo ""
echo "Suppression du RamDisk"
umount ${RAMDISK}
rmdir ${RAMDISK}

echo ""
echo "Application des droits ..."
chown -R proxy:proxy /etc/squid /var/log/squid /var/spool/squid /usr/lib/squid /usr/sbin/squid ${SGLIBS}
echo "Suppression des fichiers temporaires ..."
rm -f /var/tmp/BDB*
echo ""
echo "Demarrage de Squid ..."
service squid start

fi
[/code]

Saluts,

@ NooP, merci de nous faire partager tes connaissances, vraiment très sympa. :023

Mais le post de ziouplaboum ici , ma interpeller, grand bien m’en fasse.

Je me suis donc intéressé au contenu du “blacklists”, et j’aimerai bien me tromper, quant a l’interprétation que je puisse en faire.

Il s’agit bien là, d’une liste Noire … non ?

Autrement dit cette liste, une fois installer, interdira tout accès aux divers urls et domaines.

Suis je en erreur ?

Sincèrement, je le souhaite … :mrgreen:

Je suis sur le cul !

Oui et non !

Cette liste est une compilation de mots clés et d’urls pour des choses ‘non convenables’ comme de la publicité, du warez, du porn …

En elle même, elle ne fait rien. C’est ton fichier de configuration squidGuard.conf qui indiquera à squidGuard quelle bases il doit utiliser et comment (Fonctionnement BlackList où fonctionnement WhileList).

Un exemple de squidGuard.conf que j’utilise pour un contrôle parental minimal :

[code]#

CONFIG FILE FOR SQUIDGUARD

dbhome /var/lib/squidguard/db
logdir /var/log/squid

dest adult {
domainlist adult/domains
urllist adult/urls
}

dest publicite {
domainlist publicite/domains
urllist publicite/urls
}

dest warez {
domainlist warez/domains
urllist warez/urls
}

dest violence {
domainlist violence/domains
urllist violence/urls
}

ajoutez ici les thèmes supplémentaires de votre choix présents dans la blacklist de la façon suivante

dest <nom du thème> {

domainlist <nom du thème>/domains

urllist <nom du thème>/urls

}

------------------------------------------------------------

Definition des ACL

------------------------------------------------------------

acl {
default {
# les thèmes supplémentaires sont à ajouter avant le mot-clé all par !<nom du thème>
pass !adult !publicite !warez !violence all
redirect http://<un_serveur_web>/interdiction.html
}
}
[/code]

Les domainlist et urllist des sections dest correspondent à ce que tu trouves dans /var/lib/squidguard/db/.
Dans la configuration que je donne :

Je bloque (!) les domaines et urls pour adult, publicite, warez, violence, et je laisse passer tout le reste - all
En cas de domaine bloqué, j’affiche la page <un_serveur_web>/interdiction.html

Ça, c’est un fonctionnement blacklist (Tout est autorisé sauf …)

Tu peux facilement avoir un fonctionnement whitelist (Tout est interdit sauf …) :

pass !all adult publicite warez violence

Là, je ne répond pas de tes valeurs morales :033

[quote=“NooP”]Les domainlist et urllist des sections dest correspondent à ce que tu trouves dans /var/lib/squidguard/db/.
Dans la configuration que je donne :

Je bloque (!) les domaines et urls pour adult, publicite, warez, violence, et je laisse passer tout le reste - all
En cas de domaine bloqué, j’affiche la page <un_serveur_web>/interdiction.html

Ça, c’est un fonctionnement blacklist (Tout est autorisé sauf …)

Tu peux facilement avoir un fonctionnement whitelist (Tout est interdit sauf …) :[/quote]

Tout est autorisé sauf … :017

Qu’est ce que les autres domaines et urls font dans “blacklists” ?

Par exemple “bank, financial, blog, forums, shopping, press, radio” … et tout les autres ?

pc-1-loreleil@Debian-pc-1:~/blacklists$ ls -l total 196 drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 adult drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 agressif drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 arjel drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 astrology drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 audio-video drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 bank drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 blog drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 celebrity drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 chat drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 child drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 cleaning drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 dangerous_material drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 dating drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 drogue drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 filehosting drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 financial drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 forums drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 gambling drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 games -rw-r--r-- 1 pc-1-loreleil pc-1-loreleil 13747 9 mai 16:48 global_usage drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 hacking drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 jobsearch drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 liste_bu drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 malware drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 manga drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 marketingware drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 mixed_adult drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 mobile-phone drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 phishing drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 press drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 publicite drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 radio -rw-r--r-- 1 pc-1-loreleil pc-1-loreleil 3898 8 juin 21:21 README drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 reaffected drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 redirector drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 remote-control drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 sect drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 sexual_education drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 shopping drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 social_networks drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 sports drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 strict_redirector drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 strong_redirector drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 tricheur drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 warez drwxr-xr-x 2 pc-1-loreleil pc-1-loreleil 4096 8 juin 21:21 webmail pc-1-loreleil@Debian-pc-1:~/blacklists$
Je ne comprends pas le contenu du “blacklists” … :confused:

En fait, il faut voir les ‘blacklists’ en enlevant le ‘black’.

Ce ne sont que des listes, c’est tout. C’est pour ça que tu y trouves une liste ‘radios’, qui englobe les URLs et mots clés connus s’y rapportant. La liste en elle même n’est ni Black, ni White. Elle n’est qu’une liste de noms de domaines et d’Urls. C’est toi seul qui décidera de la ‘couleur’ que tu veux lui donner.

Ensuite, suivant ce que tu désires faire, tu dis : Tel type de sites (Par exemple les radios), je ne veux pas qu’on puisse y accéder.

C’est alors que tu spécifies à squidGuard, par exemple :

[code]dest acces_aux_radios {
domainlist radio/domains
urllist radio/urls
}

acl {
default {
# les thèmes supplémentaires sont à ajouter avant le mot-clé all par !<nom du thème>
pass !acces_aux_radios all
redirect http://<un_serveur_web>/interdiction.html
}
}[/code]

Quand tu lis radio/domains, il faut en fait penser /var/lib/squidguard/db/radio/domains. Idem pour les urls.

Donc, c’est pour ça que dans les cas d’une :

BlackList : Tout est par défaut autorise, excepté ce que tu interdis (BlackListe) expressément.
Langage SquidGuard : Tu interdis (!) expressément l’acces_aux_radios, et tu autorise tout le reste (all). (pass !acces_aux_radios all)

WhiteList : Tout est par défaut interdit, excepté ce que tu autorises (WhileList) expressément.
Langage SquidGuard : Tu interdis (!) tout (all), et tu autorise expressément l’acces_aux_radios. (pass !all acces_aux_radios)

forum.debian-fr.org/viewtopic.php?f=8&t=11658