Raid 5 lvm / mdadm

Support Debian
#1

Bonjour à tous, je me présente rapidement j’ai 25 ans je travaille dans l’informatique et j’ai un questionnement assez particulier il est très fort probable que je ne sois pas dans la bonne section ni le bon forum mais je bricole surtout avec Debian et Ubuntu je me suis dit que j’allais poser ma question ici.

Donc j’ai une machine avec aujourd’hui 20 HDD 500 Go en JBOD et un SSD OS sous Windows 10 cela a pour rôle actuel de NAS.
Problème aucune sécurité au niveau des disques, je compte bientôt rajouter 8 HDD de 500 Go supplémentaire et me suis dit si je faisais un raid 5 logiciel sous Debian avec LVM ou MDADM.

Alors déjà combien de grappe RAID car faire une unique grappe RAID serait assez fou, donc j’hésite entre 7 grappes de 4 HDD ou 4 grappes de 7 HDD, la solution la plus sécurisée c’est bien sûr 7 grappes problème ne vais-je pas avoir un problème de performance avec mon petit CPU qui est un E4800 donc assez vieux et pas très puissant sachant que je stock plus que ne lis vite mais j’aime avoir la possibilité d’avoir une bonne lecture ce qui normalement n’est pas trop impacté avec le RAID 5.

Je ne sais pas trop quoi faire sachant que les disques sont tous diffèrent que sois en vitesse de rotation j’ai aussi bien du 7200, 5900 et 5400 et cache de 128, 64 et 32 MB, marques et années de construction, ils ont pour la grande majorité déjà 2 ans voire plus.

Merci pour votre lecture

#2

Bienvenue sur le forum,

Alors, effectivement, je n’ai jamais eu autant de disques connectés en même temps. Donc, tu vas avoir un monstre de vingt-huit disques, plus celui contenant le système.
Alors, personnellement, je pense que tu peux mettre tous les disques sur une seule grappe. Je ne sais pas quel est ton besoin en stockage et en fiabilité, mais tu peux partir sur un RAID6 avec deux ou trois disques de parité et quelques disques de spare.

Par contre, j’aurais une question à laquelle tu pourras répondre quand ton sytème sera installé : comment l’appellent les disques dans /dev ? Parce que je sais que ça va de sda à sdz, mais je ne sais pas comment il va gérer les trois derniers disques.

#3

Alors ma problématique est d’ordre mathématique car lors de la reconstruction il faut lire l’intégralité du raid donc lire un peu moins de 14 To répartie sur 28 HDD j’ai un fort risque d’avoir un ou plusieurs disques qui me fassent une erreur de lecture incorrigible ou qui tombe tout simplement en panne ?

Pour le raid 6 ou avec plus 2 de disques de parité, le calcul de la parité supplémentaire n’est-il pas plus long et/ou plus complexe contenu qu’il inclut alors la première parité dans son calcul j’avoue ne pas connaitre le système exact mis en place avec le raid 6 est-ce que la parité est identique entre les disques qui la contienne ou c’est une parité calculée d’une façon différente ?

Donc si je fais un schéma A1 + A2 = Ap pour le raid 5 mais pour raid 6 cela fait A1 + A2 = Ap1 = Ap2 A1+A2+Ap1 = Ap2 ou A1+A2 = Ap2 mais différent de Ap1

Surtout que l’implémentation exacte doit être différente suivant la solution logicielle ou matérielle que l’on choisit ?

#4

Pour la reconstruction du RAID, tu vas forcément lire tous les disques, s’il ne font que 500 Go, tu liras forcément tous les 500 Go de chaque disque, le fait d’en avoir vingt-huit ne va pas plus les fatiguer. Je ne dis pas que c’est la même pour le processeur, comme tu le fais remarquer après.

Je ne sais pas comment fonctionne la parité en RAID6. Je ne sais pas si les blocks de partité sont répliqué ou calculés avec une algorithme différent.
Si tu veux de l’algorithme plus léger, tu peux tenter le RAID10, mais je ne sais pas comment ça fonctionne avec un nombre de disques différent de 4.

#5

Je n’utilise pas BTRFS, mais si je fais un jour une installation neuve, je pense m’y mettre.

Il me semble qu’il offre du RAID intégré et du LVM, ou plus précisément les fonctionnalités de ces deux systèmes.

[https://www.synology.com/fr-fr/dsm/Btrfs]

#6

Salut

le raid 5 et 6 ont un calcul de parité qui n’est pas le meme (le 5 c’est un simple xor, le c’est un algo plus évolué)
cela dit avec un processeur récent c’est rien, avec un e4800 c’est pas grand chose. surtout s’il fait que ça ou presque. (je pense vraiment pas que tu puisse voir une différence de performance, peut etre quelque pourcent d’utilisation en plus de ton processeur mais c’est tout)
personnellement j’ai eu un raid5 ou pendant la reconstruction j’ai un disque qui a crashé. Et la c’est l’enfer. donc je te conseille grandement le raid 6.
je sais pas combien tu as de controlleur mais tu peux repartir tes disques sur les différents controlleur pour répartir la bande passante, et aussi limité la casse si un controlleur dégage (ça m’est aussi arrivé)
perso je pense que j’essayerais de faire en sorte d’avant 2 disque par grappe et controlleur, comme ça si j’ai un controlleur qui dégagé j’ai rien perdu.
si par exemple tu as 4 controlleurs:
tu fais des grappes de 8 disques. (ou 7 dans ton cas sauf si tu planifie dans rajouter encore la tu peux faire 8 et une plus petite qui grandira plus tard)
mais sinon en raid6 tu peux te faire des grappes de 10-12 disques sans problèmes

PS si tu parles anglais le reddit des datahoarder sera de bon conseils
PPS: j’espere que tu as un onduleur parceque le mdadm + lvm (ou meme btrfs) n’est pas protégé contre les corruptions de donnée silencieuse (silent data corruption)

#7

Il me semble que le RAID 6 a deux disques de parité, pas plus. En tout cas celui de mdadm.

On ajoute une lettre. Après sdz on passe à sdaa jusqu’à sdiv, soit 256 disques.
Cf. Documentation/devices.txt(.gz) dans la documentation du noyau.

Seulement les disques de la grappe.

Ni pour les contrôleurs hôtes, les bus système, la mémoire…

A noter que le RAID intégré à LVM ne fonctionne pas tout-à-fait comme celui de mdadm. Avec LVM on définit le niveau de RAID indépendamment pour chaque volume logique, et par défaut LVM se débrouille pour allouer l’espace disque dans les volumes physiques disponibles pour assurer la redondance. Il n’y a donc pas de grappes clairement définies. C’est plus souple (pas besoin de disques de la même capacité) mais plus complexe à gérer. Certes on peut forcer l’utilisation de volumes physiques spécifiques lors de la création d’un volume logique, mais cela va un peu à l’encontre de la philosophie d’emploi de LVM qui est de le laisser au maximum s’occuper de l’allocation. Personnellement je partirais plutôt sur plusieurs grappes RAID mdadm agrégées avec LVM, aussi parce que c’est ce que je connais mieux. La répartition des disques d’une grappe entre les différents contrôleurs hôtes est une bonne idée autant pour la performance que pour la robustesse. Avec autant de disques laisser un ou plusieurs disques en spare est aussi une idée à considérer pour que la reconstruction puisse commencer dès qu’une défaillance est détectée, sachant qu’un même disque de spare peut être partagé entre plusieurs grappes.

Quant au RAID 5 ou 6 intégré à Btrfs, j’avais lu qu’il n’était pas encore fiable, mais ça a peut-être changé avec les versions récentes du noyau.

Le RAID 10 de Linux fonctionne avec un nombre de disques quelconque >= 2. Mais c’est comme le RAID 1, du miroir et non de la parité. La redondance occupe donc au minimum la moitié de la capacité.

#8

Bonjour à tout merci pour vos réponses ;

Alors actuellement aucun système de backup type onduleur n’est présent et les contrôleurs sont très simples, contrôleur interne et pci-e vers sata avec des expandeurs sata internes donc c’est déjà un peut bancale.

Mais j’ai 3 voire 4 onduleurs sous la main faut juste que je les tests car aux dernières nouvelles ceson leur batterie au plomb qui a fait qu’ils sont en ma possession aujourd’hui la puissance d’un seul est largement suffisante pour alimenter l’alimentation du PC « NAS » mais cela va me demander certain ajustement électrique.

alors le RAID 10 est hors-jeu car actuellement le NAS avec c’est 20 HDD son full avec quelque détail si je réunis tout l’espace restant de tous les disques j’obtiens presque 500 Go donc faire un RAID 10 de 28 HDD 500 on tombe à 7 To donc moins de ce que j’ai actuellement je pense vraiment me diriger vers du raid 6 mais j’ai un autre problème un certain nombre de mes disques sont SMR donc je vais voir si je peux les swapp avec les 500 Go HDD de mon cluster mais j’ai peur de ne pas en avoir assez, affaire à suivre sur ce plant

De toute façon si j’ai encore des disques SMR je laisserai c’est disque en JBOD car il n’y a actuellement pas vraiment de solution à c’est disque dans un environnement RAID.

Voilà Je vous remercie pour votre aide je vous ferais signe lorsque j’aurais réuni le matériel pour ajouter les 8 disques et fait le swapp des autres disques, et modifier le boitier qui va accueillir tout ça