[apt] apt-test / script surveillance miroirs Debian

Trucs et Astuces
,
Tags: #<Tag:0x00007f3b8c873d08> #<Tag:0x00007f3b8c873b00>
#22

Il n’y a pas besoin de root, mais même avec root, je ne vois pas ce problème (certes sous testing, mais je ne vois pas de lien).
Si je n’arrive pas à reproduire, il va falloir que je trouve une méthode pour arriver à ce résultat.
Mais j’observe une différence avec root / pas la même sortie.
pas le même formatage de time : 0.089s / 0,089s à considérer.
piste root à vérifier, mais ça ne suffit pas.

mon prompt arrive directement à la suite sur la même ligne

Le prompt root est brut de fonderie, différent du prompt user.
voir 20260807-1 / un détail

#23

mon root et mon user sont le même sauf la couleur. Je ne fait pas de saut de ligne avec.
A tester avec le user

#24

Il faudra tester des bouts du code, pour voir qu’à chaque étape, cela fait que c’était censé effectuer, j’en ai bien peur :

$ ./apt-test-20260807-1.sh
  Test sites Debian apt [22/22] ★                         

  1 5s                          >
  2 5s                          >
  3 5s                          >
  4 5s                          >
  5 5s                          >
  6 5s                          >
  7 5s                          >
  8 5s                          >
  9 5s                          >
 10 5s                          >
 11 5s                          >
 12 5s                          >
 13 5s                          >
 14 5s                          >
 15 5s                          >
 16 5s                          >
 17 5s                          >
 18 5s                          >
 19 5s                          >
 20 5s                          >
 21 5s                          >
 22 5s                          >

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net
#25

Non, le code est testé et fonctionne parfaitement et de manière reproductible dans mon environnement qui n’a rien de spécial. Le code n’est pas la difficulté, c’est le plus simple.
Le problème est de comprendre les différences d’environnement, et de le reproduire pour tester: c’est ça le plus dur.
Est-ce lié au réseau (je suis en 4G, toi en ADSL2 avec des soucis DNS) ? J’ai déjà creusé cette piste mais ne vois rien de transcendant pour le moment.
Pourquoi tu n’as pas un résultat stable. Je ne sais pas.
Coriace celui-là. Besoin de temps pour trouver l’inspiration,.

#26

pas le sujet ici, mais il n’y aucun rapport entre de DNS et des sites « graphiques », à développer sur un autre fil.

#27

Il se passe des choses étranges actuellement non seulement sur les serveurs, mais les DNS.
Vu un timeout de 5s de wget non fonctionnel sur site mirror.johnnybegood.fr / pas d’explication.
Vu ftp.fr.debian.org passer sans problème, mais ping final ‹ Echec de résolution de nom de domaine… ›
apt-test n’a pas vocation à faire une analyse réseau complète d’un environnement, et encore moins lorsque des problèmes spécifiques de configuration utilisateur sont identifiés.
Ne pouvant tout reproduire les cas particuliers, il faut imaginer comment simuler, ce qui est plus compliqué. Il est aussi possible de masquer certaines choses, mais ce qui empêche de bien analyser les phénomènes à leur racine.
Donc durant cette période de réseau plutôt tumultueuse, la version 20260808 devrait être un compromis plus tolérant.

20260808-1
Ajout d’un pré-filtrage ping qui exclura les domaines sans réponse à un ping, le temps fourni par la commande time étant sans valeur informative.
La période de perturbation réseau est propice à ces améliorations.

#28 
$ ./apt-test-20260808-1.sh
  Test sites Debian apt [22/22] ★                         

  1 cdn-aws.deb.debian.org      0,161s
  2 mirror.gitoyen.net          0,183s
  3 deb.debian.org              0,184s
  4 ftp.fr.debian.org           0,185s
  5 debian.proxad.net           0,188s
  6 debian.mirrors.ovh.net      0,189s
  7 cdn-fastly.deb.debian.org   0,196s
  8 ftp.u-picardie.fr           0,199s
  9 debian.polytech-lille.fr    0,203s
 10 mirror.abaclouda.net        0,215s
 11 debian.obspm.fr             0,222s
 12 miroir.univ-lorraine.fr     0,223s
 13 ftp.ec-m.fr                 0,226s
 14 ftp.lip6.fr                 0,242s
 15 ftp.u-strasbg.fr            0,256s
 16 ftp.rezopole.net            0,269s
 17 mirror.debian.ikoula.com    0,270s
 18 apt.tetaneutral.net         0,291s
 19 mirror.johnnybegood.fr      0,297s
 20 ftp.univ-pau.fr             0,347s
 21 mirror.plusserver.com       0,350s
 44 deb-mir1.naitways.net       no-ping

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net
#29

Il y a bien 22 sites. C’est juste que Num 22 est remplacé par 44./ toujours pas chez moi, pas méchant.
Il y a bien un problème fantôme non pointé, non reproduit, mais il est contourné.
→ 20260808-2

#30

Je crois que tu as réussi ! :slight_smile:

$ ./apt-test-20260808-2.sh
Test sites Debian apt [22/22] ★

  1 cdn-aws.deb.debian.org      0,161s
  2 debian.proxad.net           0,186s
  3 debian.mirrors.ovh.net      0,192s
  4 ftp.fr.debian.org           0,193s
  5 cdn-fastly.deb.debian.org   0,198s
  6 deb.debian.org              0,200s
  7 debian.polytech-lille.fr    0,204s
  8 mirror.gitoyen.net          0,206s
  9 mirror.abaclouda.net        0,208s
 10 ftp.u-picardie.fr           0,214s
 11 debian.obspm.fr             0,224s
 12 mirror.debian.ikoula.com    0,227s
 13 miroir.univ-lorraine.fr     0,232s
 14 ftp.rezopole.net            0,245s
 15 ftp.u-strasbg.fr            0,246s
 16 ftp.ec-m.fr                 0,259s
 17 mirror.johnnybegood.fr      0,262s
 18 ftp.univ-pau.fr             0,266s
 19 apt.tetaneutral.net         0,290s
 20 mirror.plusserver.com       0,344s
 21 ftp.lip6.fr                 0,402s
 22 deb-mir1.naitways.net       no-ping

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net
#31

Mise à jour 20260811
Modifications 20260811 / 20260808

* suite à analyse et évaluation stabilité des sites par filtrage ping inclus dans apt-perf, la liste complète des sites ne sera plus testée mais se limitera à 15 sites (ou redirections), permettant de ne pas freiner inutilement les relances du script durant les périodes à turbulence d’accès sites;

* la recherche dynamique de la liste des miroirs Debian de la version 20260808 peut sembler techniquement intéressante, mais présente l’inconvénient de ne pas être accessible en cas de perturbation accès réseau; cette liste étant extrêmement stable dans le temps, les sites testés au nombre de 15 sont inclus dans apt-test;

* les redirections suivantes ne sont plus affichées car stables, allégeant la sortie:

ftp.fr.debian.org -> debian.proxad.net
deb.debian.org -> debian.map.fastlydns.net
#32

Le test est plus agréable, car plus rapide.

Résultats :

> $ ./apt-test-20260811.sh 
>  Test sites Debian       [15/15] ‒                             
>   1  ftp.fr.debian.org           0,331s
>   2  debian.obspm.fr             0,335s
>   3  debian.mirrors.ovh.net      0,342s
>   4  debian.proxad.net           0,342s
>   5  miroir.univ-lorraine.fr     0,351s
>   6  debian.polytech-lille.fr    0,352s
>   7  ftp.u-picardie.fr           0,352s
>   8  ftp.rezopole.net            0,365s
>   9  ftp.lip6.fr                 0,375s
>  10  apt.tetaneutral.net         0,394s
>  11  ftp.u-strasbg.fr            0,394s
>  12  deb.debian.org              0,397s
>  13  ftp.univ-pau.fr             0,403s
>  14  cdn-aws.deb.debian.org      0,405s
>  15  ftp.ec-m.fr                 0,415s


> ~$ ./apt-test-20260811.sh 
>  Test sites Debian       [15/15] ‒                             
>   1  cdn-aws.deb.debian.org      0,307s
>   2  debian.obspm.fr             0,334s
>   3  debian.proxad.net           0,334s
>   4  ftp.fr.debian.org           0,336s
>   5  debian.mirrors.ovh.net      0,340s
>   6  ftp.u-picardie.fr           0,345s
>   7  debian.polytech-lille.fr    0,349s
>   8  deb.debian.org              0,358s
>   9  ftp.rezopole.net            0,359s
>  10  ftp.lip6.fr                 0,378s
>  11  apt.tetaneutral.net         0,394s
>  12  ftp.u-strasbg.fr            0,394s
>  13  ftp.univ-pau.fr             0,399s
>  14  ftp.ec-m.fr                 0,412s
>  15  miroir.univ-lorraine.fr     0,698s
#33
MAJ précédentes

Mise à jour apt-test 20260815(1er message)

Différences relatives à 20260811:
* simplification/fiabilisation détection sites down (cas particuliers)
* information du temps total d’exécution (indicateur relatif global de perturbation accès sites)
* 22 domaines testés

Mise à jour apt-test 20260817 (= version turbo) (1er message)

* vitesse maximale pour détecter si un miroir Debian parmi 22 est en état de fonctionnement ou en dérangement;
* simplification/optimisation code : minimum de commandes

Observations sur l’évolution de la notion de « performance » depuis la création d’apt_perf en 2023: il est illusoire de discriminer une différence en terme de rapidité entre des miroirs Debian géo-localisés en France, une variation de quelques ms suffisant à changer le classement de sortie. Le classement de sortie est supprimé, mais la sortie est numérotée pour faciliter le suivi visuel d’un test au suivant.

Remarque sur accès http ou https:
Chaque paquet Debian est sécurisé par GPG et vérifié par apt avant chaque installation. Un accès Debian par htpps est donc inutile et ajoute une surcouche réseau non justifiée.
Debian recommande ftp.fr.debian.org qui pointe sur debian.proxad.net, ni l’un ni l’autre n’ayant d’accès https, mais comme un certain nombre de miroirs proposent aussi un accès https, la version suivante d’apt-test testera aussi les accès https, qui peuvent éventuellement dépanner si l’accès par http n’est pas disponible sur un miroir en cours de perturbation.

Mise à jour apt-test 20260826 (1er message)

* par défaut, apt-test teste les accès http et https des miroirs le proposant
* en cas de forte perturbation des dépôts, le temps d’analyse total peut atteindre 40s
Options:
→ -p,p : test uniquement http
→ -s,s : test uniquement https