Intel matrix storage + raid10 + mdadm

[Moker]

Bonjour à tous

Je possede un carte mere asus p5e64 ws evo, sur laquelle est integré Intel matrix storage qui permet d’utiliser un systeme raid.

Mon choix c’est porté sur un raid10 de 4 disques de 2To.
J’ai construit le raid avec intel matrix manager (ctr+i au demarrage), ce dernier est optomal.

Par contre sous debian ça se complique (le disque n’est pas visible) :

$ cat /proc/mdstat 
Personalities : 
md127 : inactive sde[3](S) sdb[2](S) sdc[1](S) sdd[0](S)
      9028 blocks super external:imsm
       
unused devices: <none>

Dans l’utilitaire de disque gnome j’ai bien une unité mais de 0kb et ‘non actif, partiellement assembée’ (/dev/md127)

J’ai cherché sur le net puis trouver ceci :

bertrandbenoit.blogspot.fr/2011/ … using.html

La commande suivante me créé bien un disque de 4to (/dev/md126) :

# mdadm -I -e imsm /dev/md127
mdadm: Started /dev/md/V0 with 4 devices

# cat /proc/mdstat
Personalities : [raid10] 
md126 : active (auto-read-only) raid10 sdb[3] sdc[2] sdd[1] sde[0]
      3907023872 blocks super external:/md127/0 64K chunks 2 near-copies [4/4] [UUUU]
      
md127 : inactive sde[3](S) sdb[2](S) sdc[1](S) sdd[0](S)
      9028 blocks super external:imsm
       
unused devices: <none>

Mais impossible de creer une partition dessus et à chaque reboot ce disque disparait

Avez vous une idée ? j’ai loupé quelque chose ?

Merci d’avance pour votre aide

[grigric]

Bonjour,

je dis peut être une bêtise car je ne connais pas le fonctionnement de ta carte mere, mais…

tu viens de faire un disque virtuel avec 4 disques en raid matériel.

Donc au niveau de Debian tu ne devrais voir qu’un seul disque.

[Moker]

Salut grigric,

Merci de ta reponse

Donc au niveau de Debian tu ne devrais voir qu’un seul disque.

C’est bien l’effet desiré, malheureument je n’y arrive pas, impossible de ‘monter/afficher’ le raid hard créé.

[grigric]

si tu fais un

ça te donne quoi ? ton disque ne serait pas là ?

[Moker]

# fdisk -l | grep GB
Disk /dev/sde doesn't contain a valid partition table
Disk /dev/sdf doesn't contain a valid partition table
Disk /dev/sda: 500.1 GB, 500107862016 bytes
Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes

# mdadm -I -e imsm /dev/md127
mdadm: Started /dev/md/V0 with 4 devices

# fdisk -l | grep GB
Disk /dev/sde doesn't contain a valid partition table
Disk /dev/sdf doesn't contain a valid partition table
Disk /dev/sda: 500.1 GB, 500107862016 bytes
Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
Disk /dev/md126: 4000.8 GB, 4000792444928 bytes

Mais comme signalé plus haut, impossible de creer une partition sur le disque, et il disparait apres le reboot

[grigric]

Bonjour,

un truc que j’avais pas pensé, ton disque virtuel sera d’une taille très grande, supérieure à 2.2To.

Il faut tout d’abord créer une table de partitions au format GPT car le système traditionnel MSDOS ne gère pas de partitions de plus de 2To. Cette opération s’effectue avec parted (non géré par fdisk):

parted /dev/sdb puis mklabel puis gpt

une petite docqui pourrait aider…

[Moker]

héhé merci beaucoup pour ce lien J’avance à petit pas donc un recap s’impose

Au 1er boot de la machine :

# fdisk -l | grep GB Disk /dev/sde doesn't contain a valid partition table Disk /dev/sdf doesn't contain a valid partition table Disk /dev/sda: 500.1 GB, 500107862016 bytes Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes Disk /dev/sde: 2000.4 GB, 2000398934016 bytes Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
J’assemble le raid comme lu ici

# mdadm -I -e imsm /dev/md127 mdadm: Started /dev/md/V0 with 4 devices
Et jobtiens mon disque de 4to que je n’arrive pas à partitionner :

# fdisk -l | grep GB Disk /dev/sde doesn't contain a valid partition table Disk /dev/sdf doesn't contain a valid partition table Disk /dev/sda: 500.1 GB, 500107862016 bytes Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes Disk /dev/sde: 2000.4 GB, 2000398934016 bytes Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes Disk /dev/md126: 4000.8 GB, 4000792444928 bytes
Je suis tes conseil sur gpt :

# parted /dev/md126 GNU Parted 2.3 Using /dev/md126 Welcome to GNU Parted! Type 'help' to view a list of commands. (parted) mklabel gpt Warning: The existing disk label on /dev/md126 will be destroyed and all data on this disk will be lost. Do you want to continue? Yes/No? yes (parted) quit Information: You may need to update /etc/fstab.
Et la j’arrive a formater la partition de 3.3to du disque /dev/md126 :

[code]# fdisk -l /dev/md126

WARNING: GPT (GUID Partition Table) detected on ‘/dev/md126’! The util fdisk doesn’t support GPT. Use GNU Parted.

Disk /dev/md126: 4000.8 GB, 4000792444928 bytes
255 heads, 63 sectors/track, 486401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 131072 bytes
Disk identifier: 0x00000000

  Device Boot      Start         End      Blocks   Id  System

/dev/md126p1 1 267350 2147483647+ ee GPT
Partition 1 does not start on physical sector boundary.
[/code]

Arrivé la plusieurs j’ai pas mal de chose que je ne comprend pas :

[ul]* Le disque /dev/md126 une fois monté ne fait plus que 2.2To

• Dans l’utilitaire de disque gnome un partition de 750GO reste libre
• Toujours dans cet utilitaire j’ai le message : The partition is misaligned by 16384bytes. This may result in very poor performance. Repartitionning is suggest
• Apres un reboot tout ce que je viens de faire disparait[/ul]

Merci de votre aide, je continue de chercher

[Moker]

Petite rectification :

* Le disque /dev/md126 une fois monté ne fait plus que 2.2To

Seulement si je le formate en ext4, en ntfs j’ai un disque de 3To

* Dans l’utilitaire de disque gnome un partition de 750GO reste libre

En supprimant la partiton de 3.3 to il m’a été possible de réalouer ces 750Go, de ce fait j’avait bien une partition de 4go.

* Toujours dans cet utilitaire j’ai le message : The partition is misaligned by 16384bytes. This may result in very poor performance. Repartitionning is suggest

Apres avoir formaté la partiton vierge de 4to en ntfs : The partition is misaligned by 48128ytes. This may result in very poor performance. Repartitionning is suggest

[grigric]

en fait le fileSystem prend de la place pour lui, pour en gros pouvoir gérer les options qu’il te propose, comme la journalisation, etc. …

un que j’aime bien qui n’est pas trop lourd, c’est xfs.

[grigric]

tu le partitionnes avec quel outil ? ne serait ce pa fdisk ?

vu la taille, 2,2To

essaies de partitionner avec parted.

[Moker]

un que j’aime bien qui n’est pas trop lourd, c’est xfs

Merci pour l’info

[quote=“grigric”]tu le partitionnes avec quel outil ? ne serait ce pa fdisk ?
vu la taille, 2,2To [/quote]
Je ne saurait te dire, j’utilise l’utilitaire de disques de gnome, je ne sait pas quelle commande il utilise.
Mais je pense plus à une erreur de ma part sur le partitionnment des disques, d’ou le 3.3TO+750Go et le 3.3To s’est transformé en 2.2 suite au partitonnement ext4 comme tu l’explique plus haut

essaies de partitionner avec parted.

Je vais parcourir la doc et me former sur ce dernier alors

Par contre aurait tu une idée pour que l’assemblage du raid soit persistant apres chaque redemarrage ?

Et surtout comment corriger le probleme : The partition is misaligned by 48128ytes. This may result in very poor performance. Repartitionning is suggest

Merci encore pour ton aide grigric

[Moker]

Et surtout comment corriger le probleme : The partition is misaligned by 48128ytes. This may result in very poor performance. Repartitionning is suggest

J’ai utilisé gparted pour refaire le partitionnement et je n’ai plus le probleme d’alignement, milles merci pour tes precieux conseil

Il me reste la persistance de l’assemblage du raid a voir, je cherche.

[grigric]

à ton service

pour le raid, je ne sais pas trop, je n’ai pas de carte mère comme la tienne. Par contre, tu peux regarder dans le bios si le raid est activé.

Sinon, sans la carte mère, tu peux utiliser le tuto là

je n’ai jamais eut le soucis dont tu parles pour le raid, tu l’as sauvegardé comment la config ? sur les disques ?

[Moker]

tu l’as sauvegardé comment la config ? sur les disques ?

hum … bonne question

Ayant utilisé la carte mere pour créer le raid je dirait que oui, sur les disques (raid hard),
mais j’ai egalement cette entrée dans mdadm.conf sur le disque systeme :

# definitions of existing MD arrays ARRAY metadata=imsm UUID=28f41583:7196efb4:22ba601f:d2fd5539 ARRAY /dev/md/V0 container=28f41583:7196efb4:22ba601f:d2fd5539 member=0 UUID=5c01776b:eb8d2daa:0ebbfbd4:4ac99569

Dans ce tuto il est expliqué :

To assemble the RAID array inside the container, and/or to start it (the -e option declares the style of RAID metadata (superblock) to be used): mdadm -I -e imsm /dev/md127
Cette commande permet bien de rendre visible le volume /dev/md126 qui est mon disque raid

puis :

To add it to the configuration file (to be activated automagically at boot): mdadm --examine --scan >> /etc/mdadm.conf

J’ai adapté à mon os, ce qui donne :

mdadm --examine --scan >> /etc/mdadm/mdadm.conf

Ce qui à pour effet d’ajouter la ligne suivante dans le fichier de conf mdadm :

# mdadm --examine --scan ARRAY metadata=imsm UUID=28f41583:7196efb4:22ba601f:d2fd5539 ARRAY /dev/md/V0 container=28f41583:7196efb4:22ba601f:d2fd5539 member=0 UUID=5c01776b:eb8d2daa:0ebbfbd4:4ac99569

Mais suite au reboot, je suis obligé de saisir a nouveau ‘mdadm -I -e imsm /dev/md127’ pour assember le raid et pourvoir monter le volume /dev/md126

[Moker]

Je pense avoir trouvé une solution, voici un topic similaire qui à été resolu :

ubuntuforums.org/showthread.php?t=1821067

Le probleme viendrait d’une mauvaise version de mdadm :

I downloaded the latest official relesae 3.2.1 and installed it via make && sudo make install. I could not find any deb-packages for this version. Now everything works perfectly. The array is available after reboot and the synchronization process works over BIOS and not over mdadm itself.

J’ai tenté d’installer mdadm3.2.3 mais le cerveau ne suis plus, je n’arrive plus a rien, je tente ca demain.

Encore merci de ton aide grigric

[Moker]

Bonjour à tous

Bon ca y est, je deprime
Hier soir je lis qu’il faut installer mdadm superieur à 3.1.4 pour que mon raid soit assemblé automatiquement apres chaque reboot, donc je fait :

[code]# wget http://www.kernel.org/pub/linux/utils/raid/mdadm/mdadm-3.2.3.tar.gz

tar -xvzf mdadm-3.2.3.tar.gz

cd mdadm-3.2.3

make

make install[/code]

Mais cela n’a pas fonctionné :

# apt-cache policy mdadm mdadm: Installé : 3.1.4-1+8efb9d1+squeeze1 Candidat : 3.1.4-1+8efb9d1+squeeze1 Table de version : *** 3.1.4-1+8efb9d1+squeeze1 0 500 http://ftp.fr.debian.org/debian/ squeeze/main amd64 Packages 100 /var/lib/dpkg/status
Ayant bossé sur le sujet une bonne partie de la journée, je laisse comme ca et je vais me coucher.

Ce matin je me leve et aprés un reboot de la machine, mon volume raid est visible sans manipulation de part probleme reglé … Il y à un truc que j’ai du loupé la …

Et comme je suis quelqun de trés chanceux lorsque je monte ce volume (/dev/md126) j’ai l’erreur :

Error mounting: mount exited with exit code 21: ntfs-3g-mount: mount failed: Permission denied

Alors que ca fonctionnait sans probleme quand je devait assembler le raid manuellement …

Mon installation est toute fraiche et il faut que je trouve le pourquoi du comment ! Je vais donc reinstaller et tout recommencer depuis le debut

Je met le post en resolu car mon raid et bien accessible a chaque reboot.

Si quelqun à une idée de ce que j’ai mal fait ou oublié de faire ?

[Moker]

Bonjour à tous

Aprés de multiples tests et recherches voici ce qui resulte de mon probleme :

Le raid que j’ai créé est en fait un fakeraid.

/dev/md127 est le conteneur
/dev/md126 est le disque raid

Avec mdadm 3.1.4, pour que le disque raid soit visible et accessible je dois l’assembler manuellement.
Avec mdadm 3.2.3, le disque raid est monté automatiquement mais en read only.

Aujourd’hui je me pose les questions suivantes :

Si la carte mere casse, sera-t-il possible de recuperer les donnée à partir d’un controleur different ?
Ne serait-il pas plus judicieux d’utiliser un raid logiciel au lieu du fakeraid ?

Merci d’avance pour vos reponse

[Moker]

Bonjour ,

Aprés quelques recherches, le fakeraid est source de probleme selon beaucoup d’utilisateur.
Je pensait que c’etait le meme chose q’un raid materiel, mais non ! c’est à bannir sauf cas trés particulier.

De peur d’une perte de données j’ai opté pour le raid soft.

Merci quand meme.