Rsync: Mettre à jour une archive (montage cifs)

Salut,

La situation:
J’ai un fichier zip un peu gros sur un Windows. Ce zip est mis à jour régulièrement.
J’ai une copie de ce zip sur un serveur distant.

Est-il possible de rafraîchir l’archive zip distante sans rapatrier le zip et sans déplier l’archive ?

À part monter le système de fichiers distant, je ne vois pas.

Salut,
Merci pour ta réponse.

Monter ? C’est à dire déplier l’archive ?

Edit: Je suis connecté via un tunnel VPN, donc pas de soucis de ce côté.
L’archive n’est pas énorme mais le dossier à partir duquel elle est faite est composée d’une multitude de petits fichiers, et ça prend des plombes.
Le plus simple est de rapatrier l’archive à jour je le craint… mais ça prend 1 heure. Et c’est con, il n’y a qu’une poignée de fichier qui change chaque jour.

Salut,

Pourquoi ne pas sauvegarder les fichiers qui ont changé dans des zip complémentaires et regrouper le tout une fois de temps en temps ?

[quote=“lol”]Salut,
Merci pour ta réponse.

Monter ? C’est à dire déplier l’archive ?

Edit: Je suis connecté via un tunnel VPN, donc pas de soucis de ce côté.
L’archive n’est pas énorme mais le dossier à partir duquel elle est faite est composée d’une multitude de petits fichiers, et ça prend des plombes.
Le plus simple est de rapatrier l’archive à jour je le craint… mais ça prend 1 heure. Et c’est con, il n’y a qu’une poignée de fichier qui change chaque jour.[/quote]
Sous windows, il n’y a pas l’équivalent de rsync, qui lui passe en trombe sur les fichiers non modifiés et ne traite que ceux qui l’ont été.
Ou alors, mais je ne sais pas si c’est possible, script qui copie le dossier entier vers Debian == traitement avec rsync == copie inverse vesfr Windows.

Salut,
Alors, oui je pourrais faire sous windows une archive ne contenant que les nouveaux fichiers, ou ceux modifiés.
Mais… Je perds la possibilité de me séparer des fichiers supprimés; Donc le tout ne cessera d’augmenter.

Rsync est lent, trop lent.
Un rsync depuis mon serveur Debian vers le dossier Windows prends des heures (je n’ai pas dépassé 6, j’ai coupé j’en avais marre… C’est évidemment trop).

L’idéal aurait été de comparer les deux archives; Ajouter les nouveaux fichiers et les fichiers modifiés, puis effacer les fichiers disparus à l’archive “distante” (sur le serveur Debian).

Je n’ai pas trouvé, que ce soit avec zip ou rsync de commande qui le permette.
Si ça existe, je n’ai pas trouvé les mots pour faire une bonne recherche sur le net.

La solution en attendant de trouver est de transférer l’archive complète (un peu plus d’une heure…).

Merci pour vos réponses en tout cas.

[quote=“lol”]…
Rsync est lent, trop lent.
Un rsync depuis mon serveur Debian vers le dossier Windows prends des heures (je n’ai pas dépassé 6, j’ai coupé j’en avais marre… C’est évidemment trop).
…[/quote]
rsync est long, c’est vrai, mais seulement la PREMIÈRE fois puisqu’il passe tout en revue. Ensuite, il ne "travaille " que les fichiers ayant été modifiés et comme tu dis qu’ils ne sont pas nombreux …

EDIT :
Pour exemple, la sauvegarde complète de ma Sid ne prend qu’une minute environ. Ça pèse quand même un peu une sid entière.
Combien pèse ton/tes dossier(s) zippé(s) ?

Re,

Il y a plus de 80000 fichiers à passer en revue.
J’ai essayé (import zip puis décompression puis rsync) et même au second passage je n’ai pas pu aller au bout…

Je crois avoir compris la suggestion de François de monter l’archive distante (celle sur Windows)
Je regarde quels outils il faudrait, c’est peut-être la solution.

Rien que dans le /home/ricardo, j’en ai 47615, alors je suppose que dans tout ‘/’, j’atteins bien les 80000 et ça me prends env. 1 mn avec rsync.

Salut,

Tu es sur un LAN, pas moi… :mrgreen:

Quand je dis que c’est lent, c’est que ça dépasse plusieurs heures. Impossible, le risque de coupure et d’échec est trop grand.

LAN : exact, je n’avais pas pensé à ça.

Salut,
Je crois avoir la solution, grâce à François.

Je suis en train de faire des essais
J’ai tenté fuse, avfs, je pense finalement le faire avec archivemount.

Je monte l’archive distante dans un répertoire local, et je lance un rsync sur celui-ci.
Quelques erreurs de ce type:

rsync: read errors mapping "/mnt/cifs/relais/TOP6/TOP6/HDBF/CLOTURE.DBF": Operation not permitted (1) WARNING: HDBF/2007/JOUR/MCD_SERV.7BI failed verification -- update discarded (will try again).

Peut-être à cause du montage CIFS et d’une histoire d’uid ?

Dans l’ensemble (ce n’est pas fini et je n’ai pas de courant pour continuer avant 15 heures) ça m’a l’air assez rapide.
Aucune comparaison avec un rsync sur le répertoire distant…

[quote=“ricardo”]…
Sous windows, il n’y a pas l’équivalent de rsync, qui lui passe en trombe sur les fichiers non modifiés et ne traite que ceux qui l’ont été.
Ou alors, mais je ne sais pas si c’est possible, script qui copie le dossier entier vers Debian == traitement avec rsync == copie inverse vesfr Windows.[/quote]

:open_mouth: :open_mouth: :open_mouth:

Salut,
J’espere avoir bien cerné ton problème.

Pour moi tu as “juste” à :
-Installes cygwin sur le windows
-Puis un petit script qui va bien pour lister les fichiers qu’il y dans le zip , redirigé dans un fichier text.
-Pour vérifier s’il y a des changements dans ton zip, un petit diff de l’ancienne sortie de ton script sur la nouvelle sortie.

Ca devrait t’éviter les problématique réseau si tout s’exécute sur le windows.

On peux imaginer une cron sur le windows qui vient exécuter le script et qui mets le résultat dans un partage samba.

si je suis à côté de la plaque… rsync fonctionne bien sous windows ainsi que les “outils unix” avec cygwin.

Salut,
Merci pour les réponses.
Je regarde du côté Windows, mais la solution du montage distant de l’archive à tout l’air d’être la bonne.
Je vous donnerais les temps de rsync sur l’archive montée (quand j’aurais du jus…).

Une solution serait d’utiliser un soft de backup sur le PC windows (avec Areca par exemple, areca-backup.org/features.php), qui créé ton archive zip et s’occupe lui même du type de sauvegarde (incrémental, différentielle, complète…), ensuite il peux envoyer l’archive sur ton serveur Linux.

Il y a aussi la solution BackupPC (rien à installer sur le PC client)
backuppc.sourceforge.net/index.html

Je précise ma pensée: zip est capable de rajouter ou midifier une archive. On peut donc espérer limiter le trafic si tu as peux travailler directement l’archive donc monter le système de fichiers distant, d’où ma suggestion.

Salut,
Encore merci pour vos réponses.
Pour info, le zip faut environ 140Mo le dossier déplié 1.21 Go…

Le montage de l’archive prend entre 30 et 40 mn…
Mais le rsync sur l’archive montée a prit hier 67 mn.

Je refais un essai, j’espère avoir un meilleur temps, sinon, ce n’est pas la peine; Le risque de corruption, étant donné ma connexion, est trop important. Une sauvegarde il faut en être sûr à 200%…

J’ai déjà installé aréca, merci pour la suggestion c’est un bon outil (GPL en plus) même si je n’aime pas trop l’organisation des zip créés.

La raison sera d’avoir:

  • Une sauvegarde initiale
  • Une sauvegarde incrémentale journalière, avec un rsync se sera rapide à récupérer
  • Une sauvegarde différentielle journalière récupérée une fois par semaine par exemple.

Je vais passer en résolu, j’avais espéré pouvoir faire un rsync sur le contenu des archives zip sans déplier celles-ci, je n’ai pas trouvé…

[quote=“lol”]…Le montage de l’archive prend entre 30 et 40 mn…
Mais le rsync sur l’archive montée a prit hier 67 mn…[/quote]
Pour une “première fois” :question:
Si oui, il serait intéressant de connaître ce temps avec les modifications minimes journalières dont tu parlais plus haut, sauvegarde incrémentée donc.

Ce qui ne résoudrait pas pour autant le temps important du montage :confused:

Re,
Deuxième passe ce matin, à peu près la même chose.
J’ai triché pour le premier rsync, j’avais décompressé la sauvegarde initiale dans le dossier de destination…

Ce n’est pas la solution, ça crée de temps en temps une latence très importante, ainsi que des pertes de paquets (jusqu’a 24%) sur mon accès Internet: mon FAI est radin sur le trafic montant…