Manipulation gros fichiers =load average élevé + écran figé

salut;

Lorsque je manipule de gros fichiers (copier/coller ou deplacement) j’ai un load average tres elevé et un ecran qui se fige.

load average du genre : 6.50 5.50 3.50 (vraiment enorme !)
je precise que le probleme n’est pas visible dans un “top” car mon cpu n’est quasiment pas utilisé.
c’est un processus qui s’emballe mais sans utiliser le cpu.

j’ai optimisé mon hdd avec un hdparm -q -d1 -c3 -m16 -W1 -u1 /dev/hda

mon pc est un laptop SONY VAIO VGN-FS-315-M
mon systeme de fichier est en ext3

je pense peut etre a une table de patition un peu bordelique…

[code]fdisk -l

Disk /dev/hda: 80.0 GB, 80026361856 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/hda1 * 1 4226 33945313+ 7 HPFS/NTFS
/dev/hda2 4227 9729 44202847+ f W95 Ext’d (LBA)
/dev/hda5 4227 6011 14337981 7 HPFS/NTFS
/dev/hda6 6012 6138 1020096 b W95 FAT32
/dev/hda7 6139 6144 48163+ 83 Linux
/dev/hda8 6145 6274 1044193+ 82 Linux swap / Solaris
/dev/hda9 6275 7039 6144831 83 Linux
/dev/hda10 7040 7550 4104576 83 Linux
/dev/hda11 7551 9729 17502786 83 Linux[/code]

df -h Sys. de fich. Tail. Occ. Disp. %Occ. Monté sur /dev/hda9 5,7G 4,3G 1,2G 79% / tmpfs 760M 0 760M 0% /lib/init/rw udev 10M 152K 9,9M 2% /dev tmpfs 760M 0 760M 0% /dev/shm /dev/hda7 45M 15M 27M 36% /boot /dev/hda11 17G 8,5G 7,1G 55% /home /dev/hda6 981M 746M 235M 77% /media/H /dev/hda10 3,8G 3,1G 603M 84% /media/I /dev/hda1 33G 5,6G 27G 18% /media/vaio /dev/hda5 14G 13G 897M 94% /media/D

?

j’avais testé mes temps d’acces au hdd avec hdparm ( je ne me rappel plus avec quelle commande ) et ils etaient bon.

je precise bien que mon probleme concerne le ext3 aussi( vu que j’ai du ntfs … ) et mes temps d’ecriture sont plutot mediocres ( entre 1 et 5 Mo/s ).

j’attend votre avis avec impatience :slightly_smiling:

ps:petite particularité etrange : si je fais un copier/coller sur mon DDExtern en usb (FAT), d’une partition ntfs vers le DDExtern , j’ai une vitesse d’écriture d’environ 20Mo/s; mais si je fais un copier/coller d’une partition en Ext3 ( mon /home ) vers ce meme DDExtrn j’ai une vitesse d’ecriture minable ( entre 1 et 5Mo/s ). :open_mouth:

??

[EDIT] si ça peut aider , j’ai le meme symptome quand je decompresse une grosse archive rar avec unrar => load average elevé + ecran figé , et une utilisation cpu qui n’est pas élevée.

J’ai déjà eu ça, c’était le DMA qui n’était pas activé par défaut sur le disque utilisé…

Vois-tu si hdparm l’active bien ?

yes

[code]hdparm -d /dev/hda

/dev/hda:
using_dma = 1 (on)
[/code]

si quelqu’un pouvait m’aider a trouver un processus qui provoque un load average elevé ça pourrait m’aider.

exemple acuellement a l’heure ou j’ecris ce message j’ai un load average: 2.33, 2.35, 2.09

alors que mon cpu lui ne tourne qu’a 30%. le probleme n’est donc pas visible dans un “top”

[code]top - 23:50:36 up 8:32, 1 user, load average: 2.24, 2.27, 2.08
Tasks: 107 total, 3 running, 104 sleeping, 0 stopped, 0 zombie
Cpu(s): 20.8%us, 3.3%sy, 0.0%ni, 71.9%id, 3.0%wa, 0.3%hi, 0.7%si, 0.0%st
Mem: 1555516k total, 1205412k used, 350104k free, 107448k buffers
Swap: 1044184k total, 0k used, 1044184k free, 553464k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4838 root 15 0 173m 146m 7596 S 4.3 9.6 12:52.18 Xorg
5890 morpheus 15 0 258m 124m 30m R 10.0 8.2 33:20.69 firefox-bin
20540 morpheus 15 0 172m 108m 21m S 8.3 7.2 4:36.80 amule
5830 morpheus 15 0 137m 73m 24m S 0.0 4.8 3:04.18 konqueror
7279 morpheus 15 0 89312 57m 17m S 0.0 3.8 0:44.90 evince
6110 morpheus 15 0 41992 26m 17m S 0.0 1.7 1:22.10 konversation
5659 morpheus 15 0 38512 20m 14m S 0.0 1.3 1:18.85 kicker
5657 morpheus 15 0 35944 17m 13m S 0.3 1.2 0:07.82 kdesktop
4594 debian-t 15 0 19504 16m 6920 S 0.0 1.1 0:38.58 tor
5676 morpheus 15 0 46476 16m 12m S 0.3 1.1 1:07.27 gkrellm
5697 morpheus 15 0 34088 15m 11m R 0.0 1.0 0:05.28 konsole
5647 morpheus 15 0 34176 14m 11m S 0.0 1.0 0:04.20 kded
5655 morpheus 15 0 31484 12m 9756 S 0.0 0.8 0:16.21 kwin
5664 morpheus 15 0 31924 12m 9928 S 0.0 0.8 0:00.52 kio_uiserver
5685 morpheus 15 0 34308 11m 9064 S 0.0 0.8 0:00.53 knetworkmanager
5654 morpheus 15 0 30280 11m 8672 S 0.0 0.7 0:01.52 ksmserver
[/code]

ça n’est pas en rapport direct avec le titre de mon post mais si j’avais un moyen de trouver qu’est ce qui provoque mon load average elevé, ça pourrait m’aider a trouver la source du probleme quand je deplaces de gros fichiers.

de façon general, il m’arrive assez souvent d’avoir un load average plutot anormal…

amule je pense, essaye sans tu verras.

je m’attendais un peu a cette reponse :smiley:

mais le probleme survient parfois mule eteinte.

Bon, alors l’autre serait un des utilitaires bizaroïdes de KDE faisant ressembler ce truc de plus en plus à Windows, en fait je pense à kded. Tue moi ce truc et ça ira mieux.

[edit: si ça va mieux, reste à voir où est le pbm exactement mais là, comme je me refuse à utiliser kde…]

bon , je l’ai kill (on verra avec le temps si ça change quelquechose), mais le probleme persiste lorsque je deplace de gros fichiers…

(je suis en testing et nautilus est inutilisabe), j’ai aussi fvwm-crystal mais configuré pour tourner avec nautilus…

je vais test windowmaker voir si j’ai des problemes similaires avec.

Bon sa peux venir de la file d’attente du noyaux. block layer --> Default I/O scheduler
c’est assez simple a savoir :slightly_smiling:

Un petit un nice 19 cp tonfichier tonfichier et regarde le debit
fait de meme pour nautilus (renice)
mai fait attention si c est d’une partition a une autre sure 1 dd ou si c est sur 2 dd la vitesse ne sera pas la même et meme sur le meme dd !

Si le nice évite le frezz c’est soit l’application qui est en cause cp ou nautilus.
et si cest cp ET nautilus c’est le noyaux qui serai en cause :slightly_smiling:

Dans la majoriter c’est l’application et rarement le noyaux

après si c est nautilus only je voit pas trop comment gere le nice pour le transfere des fichier, mai il existe d’autre utilitaire a nautilus il me semble :slightly_smiling:

je viens d’essayer et visiblement le probleme est le meme (vu le bruit du hdd et le temps pour copier un fichier), seulement, comment voir la vitesse a laquelle le cp se fait ??

car habituellement je vois ça avec konqueror (c’est affiché sans rien faire en particulier).

bon, je sais pas trop si c’est lié, mais j’ai aussi un autre probleme qui persiste et relativement chiant.

[code]fdisk -l

Disk /dev/hda: 80.0 GB, 80026361856 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/hda1 * 1 4226 33945313+ 7 HPFS/NTFS
/dev/hda2 4227 9729 44202847+ f W95 Ext’d (LBA)
/dev/hda5 4227 6011 14337981 7 HPFS/NTFS
/dev/hda6 6012 6138 1020096 b W95 FAT32
/dev/hda7 6139 6144 48163+ 83 Linux
/dev/hda8 6145 6274 1044193+ 82 Linux swap / Solaris
/dev/hda9 6275 7039 6144831 83 Linux
/dev/hda10 7040 9218 17502786 83 Linux
/dev/hda11 9219 9729 4104576 b W95 FAT32

Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 1 60800 488375968+ c W95 FAT32 (LBA)
[/code]

exemple: si je fais un copier collé de hda10 vers sda1 (hdd extern usb), j’ai une vitesse d’écriture de 3 ou 4Mo/s.

     si je fais un copié collé de hda1 vers sda1 (donc sur le meme hdd extern usb) j'ai une vitesse d'ecriture de 25Mo/s.

sacrée difference quand meme non ?
y voyez vous une explication ?

ps: j’ai fais un nettoyage un peu violent avec deborphan et mon load average semble se calmer. ( j’ai bien dis “semble”) on verra par la suite…

Et si tu copie de
sda fichier 1 —> dd usb
c’est la meme vitese que:
sda <— dd usb fichier 1

quelque soi la partition ?

mon DD extern EST sda1

et pas de probleme dans le sens inverse, de hdd-extern (sda1) vers hda10 ou hda1 = meme vitesse d’ecriture

*pour info hda10 est ma partition /home

Bah déjà, l’USB est trés gourmand en interruptions, et c’est ce qui provoque le “figeage” indirectement. De manière générale, j’ai remarqué que les écritures USB avec un noyau préemptif (le standard sous debian) pouvaient provoquer des saccades. Encore pire avec un noyau temps réel ou un passage à 1000 Hz du noyau.
Ensuite es tu sûr que tu branches bien ton disque sur fde l’USB 2 ? il peut y avoir certains ports en 1.0 ou 1.1 et d’autres en 2.0.
Par ailleurs, l’USB peut fonctionner à 3 vitesses différentes: 1.5 ou 12 Mo pour l’usb 1, et 60 Mo (=480 Mb) pour l’USB 2.0. Il faudrait savoir sous quel mode se met ton nux et pourquoi.
Pour finir, concernant l’assimétrie, il y a plusieurs stratégies d’allocation de la bande passante sur les dispositifs USB, et le choix de l’allocateur peut si je me souviens bien se règler en passant un argument au noyau pour choisir le module allocateur au boot (ou au module pour choisir son mode d’allocation, je ne sais plus).
Il y a peut être à ajuster pour optimiser tes transferts, donc.

alors je n’ai que de l’usb 2.0, et j’ai pris l’exemple avec mon disk usb pour avoir un exemple clair et precis mais le probleme existe des que je copie un fichier de mon /home vers une autre partoche.