Disque dur très lent

Support Debian
#11

[quote=« Clochette »]Pour un test de lecture simple et efficace à l’aide de hdparm (X étant la lettre du lecteur, à adapter pour l’IDE) :

Code:
hdparm -t -T /dev/sdX[/quote]

[code]# hdparm -tT /dev/sdb

/dev/sdb:
Timing cached reads: 2332 MB in 2.00 seconds = 1166.11 MB/sec
Timing buffered disk reads: 480 MB in 3.00 seconds = 159.90 MB/sec

hdparm -tT /dev/sdc

/dev/sdc:
Timing cached reads: 2312 MB in 2.00 seconds = 1156.31 MB/sec
Timing buffered disk reads: 376 MB in 3.00 seconds = 125.27 MB/sec[/code]

Bizarrement avec ce test, les deux disques ont l’air de répondre correctement.

Pour le test avec dd je n’ai pas trop compris comment choisir le disque dur que l’on veux tester :confused:
Il faut que le dossier que l’on met derrière le paramètre of se trouve sur le disque en question c’est bien cela? Et donc pour moi ce serait plutot of=/home/test.data

PS : Mes deux disques sont en ext4.

#12

Salut,

Tu viens de faire un test de lecture et il est bon. Que te reste-t-il à faire si ce n’est un test d’écriture SUR le disque que tu trouves lent.
Il est évident que ce test met en grand péril tout ce qui se trouve sur ce disque et qu’il convient donc de le sauvegarder si tu tiens aux données qui sont dessus :laughing:

#13

Le test d’écriture sur les deux disques est bon aussi :

1024+0 enregistrements lus 1024+0 enregistrements écrits 1073741824 octets (1,1 GB) copiés, 8,76036 s, 123 MB/s

1024+0 enregistrements lus 1024+0 enregistrements écrits 1073741824 octets (1,1 GB) copiés, 10,1392 s, 106 MB/s

Pourtant lorsque je copie des données sur ces disques (via cp ou rsync) la vitesse de transfert ne dépasse pas les 40MB/s :confused: Je n’arrive pas à comprendre pourquoi.

#14

[quote=“Arisoy”]Le test d’écriture sur les deux disques est bon aussi :

1024+0 enregistrements lus 1024+0 enregistrements écrits 1073741824 octets (1,1 GB) copiés, 8,76036 s, 123 MB/s

1024+0 enregistrements lus 1024+0 enregistrements écrits 1073741824 octets (1,1 GB) copiés, 10,1392 s, 106 MB/s

Pourtant lorsque je copie des données sur ces disques (via cp ou rsync) la vitesse de transfert ne dépasse pas les 40MB/s :confused: Je n’arrive pas à comprendre pourquoi.[/quote]

Le test te fait écrire des zéro sur un fichier, rien de stressant, mais cela indique bien quel e disque est correct.

Tes copie et tes rsync je suppose qu’ils se font sur la machine même donc pas de passage par le réseau ?
Donc le souci est plus du côté de la géométrie des blocs pas adapter à la taille de tes données que tu tentent de copiés.
Ce sont des gros ou des petits fichiers ?

#15

Salut !
Le sujet est intéressant, mais auriez vois des ordres de grandeurs de débit “acceptables” ?
je suis un peu dubitatif des résultats que j’obtiens sur mes débits :
Sur mon RAID 5 (5*3To)

root@debian:# hdparm -tT /dev/md0
/dev/md0:
Timing cached reads: 12096 MB in 2.00 seconds = 6051.94 MB/sec
Timing buffered disk reads: 1622 MB in 3.00 seconds = 540.46 MB/sec

root@debian:# dd if=/dev/zero of=/media/raid12to/tmp/test.data bs=1M count=1024 conv=fdatasync
1024+0 enregistrements lus
1024+0 enregistrements écrits
1073741824 octets (1,1 GB) copiés, 7,6667 s, 140 MB/s

Sur le disque système (un SSD 64Go (premiers prix :
root@debian:# hdparm -tT /dev/sda1
/dev/sda1:
Timing cached reads: 12780 MB in 2.00 seconds = 6395.03 MB/sec
Timing buffered disk reads: 486 MB in 2.04 seconds = 238.38 MB/sec

root@debian:# dd if=/dev/zero of=/tmp/test.data bs=1M count=1024 conv=fdatasync
1024+0 enregistrements lus
1024+0 enregistrements écrits
1073741824 octets (1,1 GB) copiés, 6,96537 s, 154 MB/s

Le SSD semble pas beaucoup mieux que le volume Raid voir moins bien pour le résultat de hdparm.

Pour les transfert “réels” j’ai atteint un débit max de 67.2 Mo/s en gigabit par FTP (transfert d’un iso de BR : 50 042 175 488o en 11min53)

#16

Salut,

[quote]conv=fdatasync[/quote] Et cette option ne consomme pas de temps ?

#17

[quote=« Clochette »]Tes copie et tes rsync je suppose qu’ils se font sur la machine même donc pas de passage par le réseau ?
Donc le souci est plus du côté de la géométrie des blocs pas adapter à la taille de tes données que tu tentent de copiés.
Ce sont des gros ou des petits fichiers ?[/quote]

Exactement, tout ce fait sur la même machine et rien ne passe par le réseau.
Les fichiers que je copie sont de très gros fichiers, de quelques giga à plusieurs dizaine de giga.

Pour ce qui est de la géométrie du disque, sait tu comment la vérifier? Et surtout sais tu comment savoir si elle est bonne ou non?

Je viens de voir aussi que fdisk me donne un message lorsque je le lance :

[code]fdisk /dev/sdc

Le périphérique dispose d’une taille de secteur logique plus
petite que la taille de secteur physique. Ajuster la limite de
taille à celle de secteur physique (ou optimale en terme d’E/S)
est conseillé, sinon les performances risquent d’être affectées.[/code]

Et voici les infos de fdisk sur ce disque :

[code]fdisk -l /dev/sdc

Disque /dev/sdc : 2000.4 Go, 2000398934016 octets
81 têtes, 63 secteurs/piste, 765633 cylindres, total 3907029168 secteurs
Unités = secteurs de 1 * 512 = 512 octets
Taille de secteur (logique / physique) : 512 octets / 4096 octets
taille d’E/S (minimale / optimale) : 4096 octets / 4096 octets
Identifiant de disque : 0x4da6a47b

Périphérique Amorce Début Fin Blocs Id Système
/dev/sdc1 2048 3907029167 1953513560 83 Linux[/code]

On voit effectivement que la taille des secteurs n’est apparemment pas optimal.

Je ne trouve malheureusement pas le moyen de modifier ce paramètre.

Si vous me confirmez que le problème peut venir de la et que vous me dites comment faire. Je modifierais le paramètre pour vérifier si cela fonctionne.

#18

Cela peut être normal, les secteur de 4k sont recent et pour garder une compatibilité avec les anciens système ils garde les secteurs logique en 512 octets.

#19

Salut,

Et quand les secteurs sont de 4Kio il vaut mieux n’avoir que de gros fichiers, sinon la place perdue !

#20

À mon avis, tu ne perd pas tant de place que ça …

#21

Re,

Soit 4096 - 512 pour chaque fichier dont la longueur est inférieure à 512 bytes soit 3584 octets à peu de choses près :slightly_smiling:

#22

Sur mon système, je trouve 44531 fichiers d’une taille inférieure à 512, le passage à une taille de bloc de 4k engendre donc une consommation de 159MB supplémentaires.
C’est pas négligeable, mais pas de quoi en faire un fromage, non ?

#23

Re,

Mais chaque fois que tu feras appel à un de ces fichiers tu effectueras le transfert de 3/4 de vide, une belle part de fromage quand même.
Tu es libre :slightly_smiling: :arrow_right:

#24

Ça le fait avec les deux disques ?
Copie depuis où ? Le même disque ou l’autre ?
As-tu mesuré la vitesse de lecture d’un fichier source ? Cela peut se faire avec dd :

[quote=“Arisoy”]On voit effectivement que la taille des secteurs n’est apparemment pas optimal.
Je ne trouve malheureusement pas le moyen de modifier ce paramètre.[/quote]
La taille des secteurs physiques/logiques est fixée par le disque, elle n’est pas modifiable. Ce qui compte, c’est l’alignement des blocs de la partition et du système de fichiers sur les limites des secteurs physiques, ce qui semble être le cas d’après la sortie de fdisk (début=2048 qui est divisible par 4096/512=8).

C’est déjà le cas depuis longtemps avec les systèmes de fichiers classiques comme ext2/3/4 dont la taille de bloc d’allocation par défaut est 4 Kio. La seule difference, c’est qu’il faut aligner les blocs d’allocation sur les secteurs physiques pour ne pas degrader les performances.

#25

Je ne connaissais pas cette commande de ‘dd’, sympa.
[mono]ricardo@ordibureau:~$ dd if=/home/machin.MOV of=/dev/null bs=4096
679+1 enregistrements lus
679+1 enregistrements écrits
2784721 octets (2,8 MB) copiés, 0,00750679 s, 371 MB/s[/mono]
Sur un SSD.

#26

[quote=« PascalHambourg »]Ça le fait avec les deux disques ?
Copie depuis où ? Le même disque ou l’autre ?
As-tu mesuré la vitesse de lecture d’un fichier source ?[/quote]
Je fais des copie d’un disque vers l’autre. Et le taux de transfert et bas quel que soit le sens de la copie.
Lorsque je mesure la vitesse avec la commande dd que tu as donnée, j’obtiens environ 150Mb/s pour les deux disques ce qui semble normal.

Ok

#27

Que donne la copie d’un gros fichier de disque à disque avec dd ?

#28

C’est à ni rien comprendre, lorsque je copie avec dd les taux de transfert sont bon. Si dessous deux copies, mon home se trouve sur un des disque et /mnt/Backup sur l’autre. La copie a un taux de transfert correct quelque soit le sens de la copie :

[code]$ dd if=/home/matthieu/Vidéos/Films/monfilm.test of=/mnt/Backup/monfilm.test bs=4096
2002670+1 enregistrements lus
2002670+1 enregistrements écrits
8202937565 octets (8,2 GB) copiés, 50,8245 s, 161 MB/s

$ dd if=/mnt/Backup/monfilm.test of=/home/monfilm.test bs=4096
2002670+1 enregistrements lus
2002670+1 enregistrements écrits
8202937565 octets (8,2 GB) copiés, 48,2698 s, 170 MB/s[/code]

Alors que voici ce que donne un rsync. La copie se fait de mon home vers /mnt/Backup/. Les taux de transfert sont divisé par 3 :open_mouth:
(J’ai pas mis tout le rsync, j’ai laissé que quelques gros fichiers)

[code]# rsync -Haurhov --delete --progress --backup --backup-dir=/home/matthieu/Deleted_Files/ --exclude=/Deleted_Files/ --exclude=/Téléchargements/ --exclude=/Steam/ --exclude=/Documents/Site_web/log/ /home/matthieu/ /mnt/Backup/
sending incremental file list
.
.
.
.
.
Vidéos/Films/
Vidéos/Films/film1.mkv
7.02G 100% 41.19MB/s 0:02:42 (xfer#10, to-check=1060/2806)
Vidéos/Films/film/
Vidéos/Films/film2.avi
730.73M 100% 9.48MB/s 0:01:13 (xfer#11, to-check=1011/2867)
Vidéos/Films/film3.mkv
2.30G 100% 43.53MB/s 0:00:50 (xfer#12, to-check=1010/2867)
Vidéos/Films/film4.avi
731.33M 100% 39.62MB/s 0:00:17 (xfer#13, to-check=1009/2867)

sent 10.78G bytes received 819 bytes 30.51M bytes/sec
total size is 962.46G speedup is 89.24[/code]

Je ne comprends pas pourquoi mes rsync mettent autant de temps.

#29

Je n’ai pas lu tout ce fil mais pour rsync c’est normal que c’est plus long car il passe en revue tout ce qui doit être mis a jour.

#30

Je sais bien que rsync va faire des vérifications pour voir ce qu’il doit copier ou non. Mais la copie en elle même devrait être à pleine vitesse non? La on voit bien que ce n’est pas le cas. C’est ça qui me dérange.