Copie d'un grand nombre de fichier

Support Debian
#1

Bonjour all,

J’ai un répertoire racine avec des répertoires de 00 à 99 et dans chaque répertoire des répertoire de 00 à 99.

Ex :
/racine/00/00/fichier-x
…
/racine/99/99/fichier-x

Je me retrouve avec un répertoire racine avec des millions de répertoires et fichiers.

Je dois déplacer ce répertoire racine pour une migration de donnée.
Le répertoire racine est partager par Samba.
Explorer Windows, Konqueror et Nautilus me donnent des heures voir jours de transfert.
Je me demande si il y avais pas un moyen plus rapide de faire le transfert pour ce type de copie ?

Les deux machines sont sur Linux.

Merci d’avances.

#2

Via scp peut-être ?

#3

Hummm j’avais pas penser.

Normale que le transfert soit long ou pas vu l’exemple ?

#4

Ce qui me semble bizarre, c’est que tu aies autant de dossiers directs attachés à la racine ?
En principe,ce sont surtout les sous-dossiers qui sont nombreux
/home/un_wagon_de_sous_dossiers
Avec ‘cp’ ou ‘mv’ c’est aussi long que ça ?

#5

tu fais un tar czf racine.tgz /racine sur la source, tu copies le fichier racine.tgz d’une machine à l’autre, et tu fais un tar xzf racine.tgz sur la destination ?

#6

Bonjour,

Je te conseille d’utiliser uniquement l’adresse ip de la machine cible, et pas le nom netbios, afin de gagner sur le temps de résolution de nom. Et monter la partition distante (mount ou fstab).

Tyrtamos

#7

Si tu as le temps de faire un scp de l’archive et de comparé avec un sftp de cette même archive, et nous dire si la différence de temps est importante. Autrement je le ferais chez moi sur un seul et gros fichier pour voir.

#8

bonne remarque de tyrtamos: le nfs est normalement super rapide.
tu as aussi rsync si c’est pour entretenir un mirroir sur deux machines, en plus, c’est rapide quand il y a peu de diffèrences.

#9

sinon, pour comparer les débits:
linux.rockriver.net/presentation … /speed.pdf
pas de doutes, c’est nfs.

#10

@ricardo

Ta raison je voulais dire :

/répertoire-racine/00/00/fichier-x
…
/répertoire-racine/99/99/fichier-x

répertoire-racine = backup

Donc :

/data/backup/00/00/fichier-x
…
/data/backup/99/99/fichier-x

@mattotop

Pour le tar czf backup.tgz /data/backup je vais essayer pour voir le résultat.
J’ai quand même 3.9 To de fichier.

@tyrtamos

Je vais aussi essayer NFS.

:wink:

NFS vs TAR sur des millions de fichiers.

#11

[quote=“gwadboy”]@ricardo

Ta raison je voulais dire :

/répertoire-racine/00/00/fichier-x
…
/répertoire-racine/99/99/fichier-x
…

NFS vs TAR sur des millions de fichiers.[/quote]Permets-moi d’être curieux : comment fais-tu pour avoir des millions de fichiers ?

#12

@ricardo

/répertoire-racine/00/00/fichier-x
…
/répertoire-racine/99/99/fichier-x

Permet de classer des répertoires de 000000 à 999999 avec deux lettres en plus aa à zz pour éviter les doublons (ex : 554400ek).

Le répertoire classer contient des fichiers.

La recherche d’un répertoire est automatiser avec un scripts pour traitement mais avec un navigateur de fichier la recherche manuel prend 5 secondes.

#13

J’ai lancer un tar czf backup.tgz /data/backup sur 3.9 To depuis 10H00 toujours pas fini.

:confused:

#14

bon, laisses tomber. AMA, du peu que je connais de ton pb, le mieux est de passer par du rsync pour faire de la sauvegarde uniquement de ce qui est modifié.
Sinon, si tu veux jouer, tu peux essayer ça:

  • sur la destination, là ou tu veux déployer:

puis sur la source:

tar c $CHEMIN | netcat -u $IPDEST $PORTlà, tu es sûr que tu n’es pas ralenti par le protocole: il n’y a pas de protocole.

#15

@mattotop

Je veux faire une sauvegarde complet de ma source.

Merci pour l’autre piste, je vais tester lundi.

Si non j’ai couper le tar czf backup.tgz /data/backup sur le 3.9 To de donnée, depuis 10H00 il tournait.

#16

quote="gwadboy"
Je veux faire une sauvegarde complet de ma source.[/quote]Oui, mais régulièrement ou en mirroir permanent ? Tu veux conserver plusieurs versions ou une seule ?[quote=“gwadboy”]Merci pour l’autre piste, je vais tester lundi.(…)[/quote]L’autre piste est gadget je l’ai donnée pour l’exemple. regardes sur une petite arbo comment ça fait, mais je doute qu’on puisse utiliser ça sérieusement sur une grosse (trop de danger en cas de coupure de la liaison pendant la sauvegarde).

#17

@mattotop

Une seule sauvegarde, c’est pour refaire la partition actuelle /data en XFS sur un module 12 To, en LVM XFS avec l’ancien module et un nouveau 12 To.

Je pourrais par la suite augmenter l’espace sur /data facilement.