Raid5 crashé

Support Debian
,
Tags: #<Tag:0x00007fb5df04c8f0> #<Tag:0x00007fb5df04c800>
#1

Bonjour,

j’ai un raid5 de 4 disque de 2to avec 2 disque en spare, j’ai fait un mdadm --grow --raid-devices=5 /dev/md0pour pouvoir par la suite agrandir l’espace de stockage.

pendant l’agrandissement j’ai perdu un disque :confused: je suis bloqué a 96%

md0 : broken raid5 sdd1[4](S) sdf1[0] sdc1[7](S) sde1[5](F) sdb1[8] sda1[6]
      5860144128 blocks super 1.2 level 5, 512k chunk, algorithm 2 [5/3] [UUU__]
      [===================>.]  reshape = 96.0% (1875765760/1953381376) finish=9251.9min speed=139K/sec
      bitmap: 1/15 pages [4KB], 65536KB chunk


root@groprox:~# mdadm --detail /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Tue May  7 04:14:11 2024
        Raid Level : raid5
        Array Size : 5860144128 (5.46 TiB 6.00 TB)
     Used Dev Size : 1953381376 (1862.89 GiB 2000.26 GB)
      Raid Devices : 5
     Total Devices : 6
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sat Jul 18 08:37:53 2026
             State : clean, FAILED, reshaping 
    Active Devices : 3
   Working Devices : 5
    Failed Devices : 1
     Spare Devices : 2

            Layout : left-symmetric
        Chunk Size : 512K

Consistency Policy : bitmap

    Reshape Status : 96% complete
     Delta Devices : 1, (4->5)

              Name : groprox:0  (local to host groprox)
              UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
            Events : 769326

    Number   Major   Minor   RaidDevice State
       0       8       81        0      active sync   /dev/sdf1
       6       8        1        1      active sync   /dev/sda1
       8       8       17        2      active sync   /dev/sdb1
       -       0        0        3      removed
       5       8       65        4      faulty   /dev/sde1

       4       8       49        -      spare   /dev/sdd1
       7       8       33        -      spare   /dev/sdc1

j’ai tenté de reconstruire après un reboot avec un mdadm --assemble --force /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 et j’ai re perdu sde quelques minutes après.
Y’a t’il une chance que le raid reparte ? dans la mesure ou j’ai tenté d’agrandir l’array sans étendre la partition ou c’est sans rapport ?

#2

Aucun lien, par contre attention là t’es dans une situation compliqué…

Commence par récupérer :

cat /proc/mdstat

ainsi que, pour chaque disque :

mdadm --examine /dev/sda1
mdadm --examine /dev/sdb1
mdadm --examine /dev/sdc1
mdadm --examine /dev/sdd1
mdadm --examine /dev/sde1
mdadm --examine /dev/sdf1

Le reshape à déjà bien travaillé et selon le résultat tu verra si il est plus sûr de cloner le disque défaillant ou si tu fais faire un force sur un assemble.

PS : Par contre je pige pas un raid5 c’est 3 disque minimum et un disque de spare habituellement, tu as donc à un moment ajouté un disque de plus dans le raid et un disque de plus en spare ?

#3

Bonjour,
il semble que sde1 soit en échec.
Il faudrait que tu le rejettes du RAID. Tu ajoute ensuite ton autre disque. Tu attend que tout soit stabilisé. Tu reformattes ton sde1 et tu le rajoutes une fois que tu as vérifié s’il est correct avec smartmontoiol ou meme simplement e2fsck.

#4

Alors que le reshape ne s’est pas déroulé jusqu’au bout … riche idée !

Personnellement je serais plus d’avis de vérifier l’éta du disque à la limite faire un passage de badblock si le disque est encore potable (histoire de finir le reshape rapidement sans douleur et pouvoir ensuite le remplacer au plus vite par un disque sain) ou de carrément le cloner à l’aide de ddrescue avec un retry 2 ou 3 fois des secteurs difficiles (dd s’arrêtera dès un secteur endommagé et n’ira pas au bout :confused: ).

#5

Salut,
le cat /proc/mdstat est dans mon 1er message

Oui j’ai ajouter deux disque au raid (ils passent donc automatiquement en spare et après j’ai fait un grow dans mon 1er post le spare qui grow est (de mémoire) sdc1

@Zargos merci mais cette proposition m’est impossible

plus d’infos de mes disques

root@groprox:~# mdadm --examine /dev/sda1
/dev/sda1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x45
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 5

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 7813525504 KiB (7.28 TiB 8.00 TB)
Data Offset : 264192 sectors
 New Offset : 260096 sectors
   Super Offset : 8 sectors
      State : clean
Device UUID : 6d8d261d:245cefdd:d567f9a4:0cbe8048

Internal Bitmap : 8 sectors from superblock
  Reshape pos'n : 7503063040 (6.99 TiB 7.68 TB)
  Delta Devices : 1 (4->5)

Update Time : Sat Jul 18 08:37:53 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : 3eaba372 - correct
     Events : 769326

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAA.. ('A' == active, '.' == missing, 'R' == replacing)
root@groprox:~# mdadm --examine /dev/sdb1
/dev/sdb1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x45
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 5

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 7813525504 KiB (7.28 TiB 8.00 TB)
Data Offset : 264192 sectors
 New Offset : 260096 sectors
   Super Offset : 8 sectors
      State : clean
Device UUID : fea72d7e:9eed1a7f:e0e26df0:6c5c13bc

Internal Bitmap : 8 sectors from superblock
  Reshape pos'n : 7503063040 (6.99 TiB 7.68 TB)
  Delta Devices : 1 (4->5)

Update Time : Sat Jul 18 08:37:53 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : ffe568ea - correct
     Events : 769326

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAA.. ('A' == active, '.' == missing, 'R' == replacing)
root@groprox:~# mdadm --examine /dev/sdc1
/dev/sdc1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x45
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 5

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 7813525504 KiB (7.28 TiB 8.00 TB)
Data Offset : 264192 sectors
 New Offset : 260096 sectors
   Super Offset : 8 sectors
      State : clean
Device UUID : 544ea6b5:047cdad9:4fe929e8:43a4d9dc

Internal Bitmap : 8 sectors from superblock
  Reshape pos'n : 7503063040 (6.99 TiB 7.68 TB)
  Delta Devices : 1 (4->5)

Update Time : Sat Jul 18 08:37:53 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : aa9febec - correct
     Events : 769326

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : spare
   Array State : AAA.. ('A' == active, '.' == missing, 'R' == replacing)
root@groprox:~# mdadm --examine /dev/sdd1
/dev/sdd1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x45
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 5

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 7813525504 KiB (7.28 TiB 8.00 TB)
Data Offset : 264192 sectors
 New Offset : 260096 sectors
   Super Offset : 8 sectors
      State : clean
Device UUID : 2df7abb8:066c5018:4699110a:731e26bd

Internal Bitmap : 8 sectors from superblock
  Reshape pos'n : 7503063040 (6.99 TiB 7.68 TB)
  Delta Devices : 1 (4->5)

Update Time : Sat Jul 18 08:37:53 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : ee4faee9 - correct
     Events : 769326

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : spare
   Array State : AAA.. ('A' == active, '.' == missing, 'R' == replacing)
/dev/sde1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x45
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 5

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 7813525504 KiB (7.28 TiB 8.00 TB)
Data Offset : 264192 sectors
 New Offset : 260096 sectors
   Super Offset : 8 sectors
      State : clean
Device UUID : af75b940:d4bd3e23:fd7a64f3:71ed2c3c

Internal Bitmap : 8 sectors from superblock
  Reshape pos'n : 7502571520 (6.99 TiB 7.68 TB)
  Delta Devices : 1 (4->5)

Update Time : Sat Jul 18 08:35:15 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : e99c2f4d - correct
     Events : 769323

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAA.A ('A' == active, '.' == missing, 'R' == replacing)

root@groprox:~# mdadm --examine /dev/sdf1
/dev/sdf1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x45
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 5

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 7813525504 KiB (7.28 TiB 8.00 TB)
Data Offset : 264192 sectors
 New Offset : 260096 sectors
   Super Offset : 8 sectors
      State : clean
Device UUID : f2b78ef9:f1e72d99:233d048a:7bf0a991

Internal Bitmap : 8 sectors from superblock
  Reshape pos'n : 7503063040 (6.99 TiB 7.68 TB)
  Delta Devices : 1 (4->5)

Update Time : Sat Jul 18 08:37:53 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : 486617c - correct
     Events : 769326

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAA.. ('A' == active, '.' == missing, 'R' == replacing)
root@groprox:~# mdadm --examine /dev/sdg1
/dev/sdg1:
      Magic : a92b4efc
    Version : 1.2
Feature Map : 0x1
 Array UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
       Name : groprox:0  (local to host groprox)
  Creation Time : Tue May  7 04:14:11 2024
 Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 3906762752 sectors (1862.89 GiB 2000.26 GB)
 Array Size : 5860144128 KiB (5.46 TiB 6.00 TB)
Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=0 sectors
      State : clean
Device UUID : c338838a:a648ece6:1bbc5c9f:a0e32063

Internal Bitmap : 8 sectors from superblock
Update Time : Tue Jul 14 20:00:13 2026
  Bad Block Log : 512 entries available at offset 16 sectors
   Checksum : 4b94b978 - correct
     Events : 764896

     Layout : left-symmetric
 Chunk Size : 512K

   Device Role : spare
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)
#6

Et dans quel état est le raid actuellement ?

mdadm --detail /dev/md0

Ainsi que :

cat /proc/mdstat

Le clone de sde me parait la solution la moins risqué pour l’instant, si jamais tu vire sde, le reformater tu perds les events déjà enregistrés.
Si possible de cloner un passage de badblock et de smartmontools dessus pour vérifier qu’il soit encore ok et faire un éventuels nettoyage de mauvais block qui auraient coupé le reshape serait un gros plus.

#7

Vue que le raid est HS j’éteins le serveur … quand je le rallume :

root@groprox:~# mdadm --detail /dev/md0
/dev/md0:
           Version : 1.2
        Raid Level : raid5
     Total Devices : 6
       Persistence : Superblock is persistent

             State : inactive
    Active Devices : 0
   Working Devices : 6
    Failed Devices : 0
     Spare Devices : 6

     Delta Devices : 1, (-1->0)
         New Level : raid5
        New Layout : left-symmetric
     New Chunksize : 512K

              Name : groprox:0  (local to host groprox)
              UUID : 878aaa0c:ebcfe0ae:61de1372:347e98b3
            Events : 769326

    Number   Major   Minor   RaidDevice

       -       8        1        -        /dev/sda1
       -       8       81        -        /dev/sdf1
       -       8       65        -        /dev/sde1
       -       8       49        -        /dev/sdd1
       -       8       33        -        /dev/sdc1
       -       8       17        -        /dev/sdb1

root@groprox:~# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid4] [raid5] [raid6] [raid10] [linear] 
md0 : inactive sde1[5](S) sdb1[8](S) sdd1[4](S) sdc1[7](S) sdf1[0](S) sda1[6](S)
      11720288256 blocks super 1.2
       
unused devices: <none>

il faudrait que je trouve un disque dur de 2to pour faire un dd de sde vers le nouveau disque, mais vue la flambé des prix pour le stockage en ce moment: je vais pas le faire tout de suite :confused: