Changement de disques raid5/lvm

Support Debian
#1

Bonjour,
J’ai installé chez moi une workstation assemblée avec des restes de machines trouvées à droite à gauche. Je l’utilise comme NAS/serveur teamspeak/serveur minecraft/serveur plex. L’ensemble repose sur un combo raid5(mdadm)/lvm avec 6+1(spare) disques de 500g(2’5) (oui j’avais beaucoup de 500g dans les placards).
Je me demande si à l’avenir j’ai besoin de plus de stockage est-il est possible de passer sur une baie à seulement 4 disques (des 3’5 de plusieurs To) ou si il est trop compliqué (voir impossible) de réduire le nombre de disques d’un raid5/lvm.
Dans le cas ou ça serait trop compliqué, j’aimerai au moins retirer 1 disque pour passer sur du 5+1 et acheter une backplane de 6 disques (en 2’5 ou 3’5).
Je me demande également si on peut savoir quel disque est branché sur quel port sata? (est-ce que sda=port sata 1; sdb=port sata 2; etc…)

Merci beaucoup

#2

Bonjour crdtc

Oui, du RAID 5 peut très bien se faire sur 4 disques,
entraîne toi à faire cette opération sur une machine virtuelle,
ce qui te permettra de prendre des notes pour pouvoir ensuite
appliquer ta procédure sur le matériel réel.

Pour identifier 1 disque parmi les 5 que j’ai qui ont exactement la même capacité,
et qui sont de la même marque et du même modèle,
j’utilise la ligne de commande suivante :

udisksctl status

qui m’affiche le numéro de série du disque,
et que je retrouve ensuite sur l’étiquette qui est collée sur le disque correspondant.

On retrouve aussi ce numéro de série
à la fin du nom du fichier situé dans /dev/disk/by-id

#3

ok, merci beaucoup pour l’idée du num série j’y avais pas pensé. Je sais que le raid 5 peut se faire sur 3 ou + disques, ce que je me demande c’est si on peut réduire le nombre de disques d’un raid5 sans avoir à réinstaller tout le serveur, car avec lvm mes données doivent êtres éparpillées un peu sur chacun des 6 disques actuels, ducoup je sais pas comment faire pour regrouper toutes les données sur 3 disques (pour l’instant je n’ai que 1,2To de données) pour ensuite retirer les disques vides du raid pour ensuite changer les 3 disques par des disques de plus grosse capacités et me retrouver avec 4(3+1spare) disques 3’5 de 4To chacun au lieu de 7(6+1spare) disques de 500Go.

#4

J’avais testé (sur une machine réelle) avec succès la suppression et remplacement d’un disque dans un RAID 5 et je n’ai même pas eu besoin d’arrêter le système pour mettre hors tension la machine,
mais je ne sais pas si l’on peut réduire le nombre de disque d’un RAID 5

Il y a sur ce forum des personnes qui sont beaucoup plus compétentes que moi dans ce domaine (et d’autres) qui viendront sans doute te donner des réponses plus fiables basées sur leurs expériences.

#5

Je ne l’ai jamais fait mais d’après la page de manuel de mdadm, c’est possible. Mais à mon avis c’est fastidieux et non dénué de risque. Et je n’ai pas vu comment indiquer quels disques il faut désactiver.

Cela va réduire la taille de l’ensemble RAID donc il faut auparavant réduire la taille du PV LVM qu’il contient avec pvresize, après avoir déplacé tous les extents occupé situés au-delà de la future taille avec pvmove le cas échéant.
Cela va engendrer une reconstruction de toutes les données de l’ensemble RAID.

Ensuite il faudra remplacer les disques. Tu as le choix entre les cloner sur les disques plus grands (lorsque l’ensemble RAID est arrêté ou en lecture seule) ou ajouter les nouveaux disques à l’ensemble et retirer les anciens disques progressivement, ce qui provoquera une reconstruction à chaque fois.

Pour finir, quand tous les disques auront été remplacés il faudra agrandir l’ensemble RAID en lui faisant utiliser toute la capacité des nouveaux disques.

Si tu as la possibilité de faire une sauvegarde du contenu, je pense qu’il est plus simple de recréer un ensemble RAID avec les nouveaux disques et d’y restaurer le contenu.

#6

merci beaucoup, ça me semble en effet une meilleure solution, même si je ne sais pas du tout comment faire une sauvegarde du contenu d’un système basé sur lvm pour être exporté sur un autre système lvm avec une config différente(nombre disques/taille). Si j’ai bien compris l’idée c’est de monter sur mon nouveau serveur un raid5+lvm(avec mes 4hdd de 8To) sur un debian vierge, puis de copier la conf système de mon ancien sur le nouveau (tout sauf la conf mdadm et lvm ducoup?)? des idées d’outils pour effectuer une tel opération?

#7

À mon humble avis,
tu devrais créer ton nouveau RAID en y installant un système debian léger
(pas besoin d’interface graphique),
ensuite, avec les deux machines démarrées, et connectés par un réseau performant
(ou sinon, reliées entre elles par un simple cordon RJ45),
tu pourras créer dans le nouveau RAID des volumes logiques et les formater
pour y copier le contenu des volumes logiques du RAID-6-disques

Une fois que les copies seront faites, tu pourras y accéder depuis ton système installé
et un grub-update depuis le nouveau système installé
trouvera le noyau de la copie pour l’intégrer dans le menu de démarrage de grub
et tu devrais pouvoir tenter de démarrer la copie de ton ancien système sur ton nouveau RAID.

Mais attends l’avis de PascalHambourg …

#8

Il ne faut pas attendre ma parole comme le messie, je n’ai pas particulièrement d’expérience dans ce domaine.

D’autre part je n’ai pas compris si les nouveaux disques allaient sur une nouvelle machine ou sur la machine actuelle.

#9

Bonjour

C’est vrai que ce n’est pas dit explicitement,
j’ai supposé qu’il s’agissait d’une autre machine en lisant cet extrait :

… mais j’ai peut-être mal interprété le message.

Il faudrait que crdtc nous donne plus de précisions à ce sujet.

#10

Bonjour, oui les nouveaux disques vont sur une autre machine, au début je pensais uniquement upgrade la baie de disques mais ça me semble plus simple de tout upgrade en même temps

#11

Bonjour crdtc

Je viens de tester la suppression à chaud d’un disque sur un système RAID5_6disques+1Spare
et le système n’a pas bronché :
Le Spare est venu automatiquement remplacer le disque que j’avais supprimé.

Ensuite, j’ai ajouté (toujours à chaud) un disque, et il a automatiquement intégré au RAID,
qui, du coup, l’a utilisé pour remplacer le Spare qui avait disparu.

Tout ça est bien sympa, mais pendant que le RAID tournait sans Spare,
il n’aurait pas fallu qu’un disque supplémentaire tombe en panne,
sinon, tout le RAID aurait été inutilisable.

Alors, si ce que tu veux dire est bien de créer le nouveau RAID sur une autre machine,
et ne pas toucher au RAID5_6disque+1Spare initial,
je rajoute que c’est aussi et surtout la plus sûre.

#12

J’ai testé aussi pour remplacer les disques, je sais comment passer d’une baie 6 disques de 500Go vers 6 disques 2To (par exemple) mais pas comment faire pour passer de 6 disques 500Go à 4 disques 2To. (autrement dis réduire le nombre de disques d’un système raid+lvm) Après vos conseils je peux résumer 2 solutions:

1- Monter la machine numéro 2 (4disques 2To) puis copier le système sur ce nouveau raid/lvm. Mais je ne sais pas comment procéder, existe-t-il des softs pour effectuer ce genre d’opération? car je ne dois pas copier la config mdadm et lvm qui ne sera pas la même mais uniquement mes rôles serveurs/arborescence (je précise que je suis sur debian 8.11 sans interface graphique).

2- Réduire les LV, puis les VG puis PV. Ensuite retirer les disques 5 et 6 du raid (ceux désormais vide car ne faisant plus parti des PV) -> réduction du raid sur 4 disques -> remplacement des disques 1 par 1 par des 2To.

Sachant que je n’ai encore rien acheté, j’hésite entre racheter une machine (solution 1) ou juste des disques (solution 2).

#13

Ça ne marche pas comme ça. Les disques ne sont pas utilisés par LVM mais par le RAID. C’est l’ensemble RAID résultant qui est utilisé par LVM. Aucun disque n’est vide. Pour retirer des disques, il faut réduire le nombre de membres actifs de l’ensemble RAID avec mdadm --grow.

Je trouve que cette méthode est très lourde et très risquée car elle implique de multiples réductions et reconstructions.

1 J'aime
#14

Bonjour

Je me demande si la solution la plus simple et la moins risquée ne serait pas de connecter les 4 nouveaux disques sur la même machine sur laquelle tourne le RAID 6 disques +1.

Si la machine ne dispose pas assez de ports SATA,
il existe des cartes PCIe 2x avec 4 ports SATA pour moins de 40€

#15

Et de connecteurs d’alimentation SATA, et d’une alimentation capable d’alimenter tous ces disques…

#16

Oui, parce que 11 disques, ça fait beaucoup…

Et puis c’est vrai que le risque d’une panne d’alimentation serait encore plus catastrophique.

#17

Bonsoir

Ok, c’est faisable, :grinning:

depuis un boot en Live et en connectant un 8ème disque (le spare du Raid5-3disques+1)
sur la machine RAID5-6disques+1,
et ce 8ème disque ne servira que pour récupérer et recopier le contenu de chaque systèmes de fichiers dans les nouveaux volumes logiques (à créer à mesure) du raid5-3disques+1

Ce qui fait que le RAID5-6disques+1 original ne sera arrêté que pendant la copie
et le temps de recréer le nouveau RAID5-3disques+1 et les volumes logiques
dans lesquels il faudra recopier le contenu des systèmes de fichiers
et il ne rester qu’à faire un chroot pour installer le chargeur de boot sur chaque disque du nouveau RAID.

On pourra adapter les UUIDs des systèmes de fichiers (ou le /etc/fstab) avant d’installer le chargeur de boot (grub-install)

Si la taille du nouveau disque le permet (en fonction de l’espace occupé dans les systèmes de fichiers), ça pourra se faire en une seule fois.