[apt] apt-test / script surveillance miroirs Debian

Trucs et Astuces
,
Tags: #<Tag:0x00007fb5da3e0ed0> #<Tag:0x00007fb5da3e0d90>
#21

C’est bien ce que j’ai, et en sortie :

~# ./apt_perf-20260807.sh 
  Test sites Debian apt [22/22] ★                         

  1 mirror.gitoyen.net          0,025s
  2 deb-mir1.naitways.net       0,026s
  3 debian.mirrors.ovh.net      0,029s
  4 debian.proxad.net           0,030s
  5 debian.obspm.fr             0,033s
  6 ftp.fr.debian.org           0,033s
  7 debian.polytech-lille.fr    0,040s
  8 ftp.lip6.fr                 0,041s
  9 ftp.u-picardie.fr           0,041s
 10 cdn-aws.deb.debian.org      0,047s
 11 mirror.debian.ikoula.com    0,047s
 12 miroir.univ-lorraine.fr     0,048s
 13 mirror.abaclouda.net        0,051s
 14 ftp.rezopole.net            0,055s
 15 cdn-fastly.deb.debian.org   0,056s
 16 deb.debian.org              0,058s
 17 apt.tetaneutral.net         0,070s
 18 ftp.u-strasbg.fr            0,075s
 19 mirror.plusserver.com       0,076s
 20 ftp.univ-pau.fr             0,080s
 21 ftp.ec-m.fr                 0,086s
 22 mirror.johnnybegood.fr      0,087s
 23 5s                          >
 24 5s                          >
 25 5s                          >
 26 5s                          >
 27 5s                          >
 28 5s                          >
 29 5s                          >
 30 5s                          >
 31 5s                          >
 32 5s                          >
 33 5s                          >
 34 5s                          >
 35 5s                          >
 36 5s                          >
 37 5s                          >
 38 5s                          >
 39 5s                          >
 40 5s                          >
 41 5s                          >
 42 5s                          >
 43 5s                          >
 44 5s                          >
 45 5s                          >

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net

A un détail tout de même. La dernière ligne n’a pas de changement de ligne, mon prompt arrive directement à la suite sur la même ligne.

#22

Il n’y a pas besoin de root, mais même avec root, je ne vois pas ce problème (certes sous testing, mais je ne vois pas de lien).
Si je n’arrive pas à reproduire, il va falloir que je trouve une méthode pour arriver à ce résultat.
Mais j’observe une différence avec root / pas la même sortie.
pas le même formatage de time : 0.089s / 0,089s à considérer.
piste root à vérifier, mais ça ne suffit pas.

mon prompt arrive directement à la suite sur la même ligne

Le prompt root est brut de fonderie, différent du prompt user.
voir 20260807-1 / un détail

#23

mon root et mon user sont le même sauf la couleur. Je ne fait pas de saut de ligne avec.
A tester avec le user

#24

Il faudra tester des bouts du code, pour voir qu’à chaque étape, cela fait que c’était censé effectuer, j’en ai bien peur :

$ ./apt-test-20260807-1.sh
  Test sites Debian apt [22/22] ★                         

  1 5s                          >
  2 5s                          >
  3 5s                          >
  4 5s                          >
  5 5s                          >
  6 5s                          >
  7 5s                          >
  8 5s                          >
  9 5s                          >
 10 5s                          >
 11 5s                          >
 12 5s                          >
 13 5s                          >
 14 5s                          >
 15 5s                          >
 16 5s                          >
 17 5s                          >
 18 5s                          >
 19 5s                          >
 20 5s                          >
 21 5s                          >
 22 5s                          >

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net
#25

Non, le code est testé et fonctionne parfaitement et de manière reproductible dans mon environnement qui n’a rien de spécial. Le code n’est pas la difficulté, c’est le plus simple.
Le problème est de comprendre les différences d’environnement, et de le reproduire pour tester: c’est ça le plus dur.
Est-ce lié au réseau (je suis en 4G, toi en ADSL2 avec des soucis DNS) ? J’ai déjà creusé cette piste mais ne vois rien de transcendant pour le moment.
Pourquoi tu n’as pas un résultat stable. Je ne sais pas.
Coriace celui-là. Besoin de temps pour trouver l’inspiration,.

#26

pas le sujet ici, mais il n’y aucun rapport entre de DNS et des sites « graphiques », à développer sur un autre fil.

#27

Il se passe des choses étranges actuellement non seulement sur les serveurs, mais les DNS.
Vu un timeout de 5s de wget non fonctionnel sur site mirror.johnnybegood.fr / pas d’explication.
Vu ftp.fr.debian.org passer sans problème, mais ping final ‹ Echec de résolution de nom de domaine… ›
apt-test n’a pas vocation à faire une analyse réseau complète d’un environnement, et encore moins lorsque des problèmes spécifiques de configuration utilisateur sont identifiés.
Ne pouvant tout reproduire les cas particuliers, il faut imaginer comment simuler, ce qui est plus compliqué. Il est aussi possible de masquer certaines choses, mais ce qui empêche de bien analyser les phénomènes à leur racine.
Donc durant cette période de réseau plutôt tumultueuse, la version 20260808 devrait être un compromis plus tolérant.

20260808-1
Ajout d’un pré-filtrage ping qui exclura les domaines sans réponse à un ping, le temps fourni par la commande time étant sans valeur informative.
La période de perturbation réseau est propice à ces améliorations.

#28 
$ ./apt-test-20260808-1.sh
  Test sites Debian apt [22/22] ★                         

  1 cdn-aws.deb.debian.org      0,161s
  2 mirror.gitoyen.net          0,183s
  3 deb.debian.org              0,184s
  4 ftp.fr.debian.org           0,185s
  5 debian.proxad.net           0,188s
  6 debian.mirrors.ovh.net      0,189s
  7 cdn-fastly.deb.debian.org   0,196s
  8 ftp.u-picardie.fr           0,199s
  9 debian.polytech-lille.fr    0,203s
 10 mirror.abaclouda.net        0,215s
 11 debian.obspm.fr             0,222s
 12 miroir.univ-lorraine.fr     0,223s
 13 ftp.ec-m.fr                 0,226s
 14 ftp.lip6.fr                 0,242s
 15 ftp.u-strasbg.fr            0,256s
 16 ftp.rezopole.net            0,269s
 17 mirror.debian.ikoula.com    0,270s
 18 apt.tetaneutral.net         0,291s
 19 mirror.johnnybegood.fr      0,297s
 20 ftp.univ-pau.fr             0,347s
 21 mirror.plusserver.com       0,350s
 44 deb-mir1.naitways.net       no-ping

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net
#29

Il y a bien 22 sites. C’est juste que Num 22 est remplacé par 44./ toujours pas chez moi, pas méchant.
Il y a bien un problème fantôme non pointé, non reproduit, mais il est contourné.
→ 20260808-2

#30

Je crois que tu as réussi ! :slight_smile:

$ ./apt-test-20260808-2.sh
Test sites Debian apt [22/22] ★

  1 cdn-aws.deb.debian.org      0,161s
  2 debian.proxad.net           0,186s
  3 debian.mirrors.ovh.net      0,192s
  4 ftp.fr.debian.org           0,193s
  5 cdn-fastly.deb.debian.org   0,198s
  6 deb.debian.org              0,200s
  7 debian.polytech-lille.fr    0,204s
  8 mirror.gitoyen.net          0,206s
  9 mirror.abaclouda.net        0,208s
 10 ftp.u-picardie.fr           0,214s
 11 debian.obspm.fr             0,224s
 12 mirror.debian.ikoula.com    0,227s
 13 miroir.univ-lorraine.fr     0,232s
 14 ftp.rezopole.net            0,245s
 15 ftp.u-strasbg.fr            0,246s
 16 ftp.ec-m.fr                 0,259s
 17 mirror.johnnybegood.fr      0,262s
 18 ftp.univ-pau.fr             0,266s
 19 apt.tetaneutral.net         0,290s
 20 mirror.plusserver.com       0,344s
 21 ftp.lip6.fr                 0,402s
 22 deb-mir1.naitways.net       no-ping

 ftp.fr.debian.org -> debian.proxad.net       
    deb.debian.org -> debian.map.fastlydns.net
#31

Mise à jour 20260811
Modifications 20260811 / 20260808

* suite à analyse et évaluation stabilité des sites par filtrage ping inclus dans apt-perf, la liste complète des sites ne sera plus testée mais se limitera à 15 sites (ou redirections), permettant de ne pas freiner inutilement les relances du script durant les périodes à turbulence d’accès sites;

* la recherche dynamique de la liste des miroirs Debian de la version 20260808 peut sembler techniquement intéressante, mais présente l’inconvénient de ne pas être accessible en cas de perturbation accès réseau; cette liste étant extrêmement stable dans le temps, les sites testés au nombre de 15 sont inclus dans apt-test;

* les redirections suivantes ne sont plus affichées car stables, allégeant la sortie:

ftp.fr.debian.org -> debian.proxad.net
deb.debian.org -> debian.map.fastlydns.net
#32

Le test est plus agréable, car plus rapide.

Résultats :

> $ ./apt-test-20260811.sh 
>  Test sites Debian       [15/15] ‒                             
>   1  ftp.fr.debian.org           0,331s
>   2  debian.obspm.fr             0,335s
>   3  debian.mirrors.ovh.net      0,342s
>   4  debian.proxad.net           0,342s
>   5  miroir.univ-lorraine.fr     0,351s
>   6  debian.polytech-lille.fr    0,352s
>   7  ftp.u-picardie.fr           0,352s
>   8  ftp.rezopole.net            0,365s
>   9  ftp.lip6.fr                 0,375s
>  10  apt.tetaneutral.net         0,394s
>  11  ftp.u-strasbg.fr            0,394s
>  12  deb.debian.org              0,397s
>  13  ftp.univ-pau.fr             0,403s
>  14  cdn-aws.deb.debian.org      0,405s
>  15  ftp.ec-m.fr                 0,415s


> ~$ ./apt-test-20260811.sh 
>  Test sites Debian       [15/15] ‒                             
>   1  cdn-aws.deb.debian.org      0,307s
>   2  debian.obspm.fr             0,334s
>   3  debian.proxad.net           0,334s
>   4  ftp.fr.debian.org           0,336s
>   5  debian.mirrors.ovh.net      0,340s
>   6  ftp.u-picardie.fr           0,345s
>   7  debian.polytech-lille.fr    0,349s
>   8  deb.debian.org              0,358s
>   9  ftp.rezopole.net            0,359s
>  10  ftp.lip6.fr                 0,378s
>  11  apt.tetaneutral.net         0,394s
>  12  ftp.u-strasbg.fr            0,394s
>  13  ftp.univ-pau.fr             0,399s
>  14  ftp.ec-m.fr                 0,412s
>  15  miroir.univ-lorraine.fr     0,698s
#33

Mise à jour apt-test 20260815 (1er message)

Différences relatives à 20260811:
* simplification/fiabilisation détection sites down (cas particuliers)
* information du temps total d’exécution (indicateur relatif global de perturbation accès sites)
* 22 domaines testés