RAID 5: Récupération de données avec 3 disques sur 4 et 2 disques avec pb Superblock

Support Debian
#21

Je ne vois aucune trace des superblocs dans sdc1 et sde1. La seule idée que j’ai pour récupérer quelque chose, ce serait de recréer un ensemble RAID avec les trois disques + 1 missing et avec l’option --assume-clean pour recréer des superblocs sans toucher aux données. Mais ça suppose de retrouver l’ordre des disques. On sait d’après son superbloc que sdd1 était en position 2 mais il ne reste aucune information sur sdc1 et sde1 peuvent être chacun en position 0, 1 ou 3, ce qui représente 3! = 6 combinaisons à essayer. Si la création avait été faite avec /dev/sd[bcde]1 la logique voudrait que sdb1 (le manquant) soit en position 0, sdc1 en position 1 et sde1 en position 3.

mdadm --create /dev/md0 --assume-clean --level=5 --raid-device=4 missing /dev/sd{c,d,e}1

Si tu as des images des trois disques, tu peux faire des essais sans crainte.

#22

après avoir stoppé le raid md127, j’ai lancé ta commande:

[root@sysrescue ~]# mdadm --create /dev/md0 --assume-clean --level=5 --raid-device=4 missing /dev/sd{c,d,e}1
mdadm: /dev/sdd1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Tue May 31 15:30:53 2011
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
[root@sysrescue ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] 
md0 : active raid5 sde1[3] sdd1[2] sdc1[1]
      2929883136 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [_UUU]
      bitmap: 8/8 pages [32KB], 65536KB chunk

unused devices: <none>
#23

Maintenant il faut vérifier le contenu, qui doit être un PV LVM avec des LV.
Vérifier aussi les superblocs pour voir si l’offset et la taille des données sont identiques aux anciens.

#24

ok et comment je fait ?

#25 
mdadm --examine /dev/sd{c,d,e}1
blkid /dev/md0
pvs
vgs
lvs
#26 
root@sysrescue /mnt/serveur]# mdadm --examine /dev/sd{c,d,e}1
/dev/sdc1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 58373e09:a582fe61:fecb86ea:f28d0ced
           Name : sysrescue:0  (local to host sysrescue)
  Creation Time : Mon Dec 14 14:40:08 2020
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953255810 (931.38 GiB 1000.07 GB)
     Array Size : 2929883136 (2794.15 GiB 3000.20 GB)
  Used Dev Size : 1953255424 (931.38 GiB 1000.07 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=386 sectors
          State : clean
    Device UUID : 531e5a9b:2b237843:e2010236:b9ba8197

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec 14 14:40:08 2020
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 28f12907 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : .AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 58373e09:a582fe61:fecb86ea:f28d0ced
           Name : sysrescue:0  (local to host sysrescue)
  Creation Time : Mon Dec 14 14:40:08 2020
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953255810 (931.38 GiB 1000.07 GB)
     Array Size : 2929883136 (2794.15 GiB 3000.20 GB)
  Used Dev Size : 1953255424 (931.38 GiB 1000.07 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=386 sectors
          State : clean
    Device UUID : da839933:9520bc69:0356c389:b22ac48e

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec 14 14:40:08 2020
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 32785013 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : .AAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sde1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 58373e09:a582fe61:fecb86ea:f28d0ced
           Name : sysrescue:0  (local to host sysrescue)
  Creation Time : Mon Dec 14 14:40:08 2020
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 1953255810 (931.38 GiB 1000.07 GB)
     Array Size : 2929883136 (2794.15 GiB 3000.20 GB)
  Used Dev Size : 1953255424 (931.38 GiB 1000.07 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=386 sectors
          State : clean
    Device UUID : 154d4f41:d7a9f0ba:1066b462:05e631af

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Dec 14 14:40:08 2020
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 8ac16df1 - correct
         Events : 0

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : .AAA ('A' == active, '.' == missing, 'R' == replacing)
#27

les autres commandes ne donnent rien sauf « pvs »:

[root@sysrescue /mnt/serveur]# blkid /dev/md0
[root@sysrescue /mnt/serveur]# pvs
  Error reading device /dev/sdb at 0 length 512.
  Error reading device /dev/sdb at 0 length 4096.
[root@sysrescue /mnt/serveur]# vgs
[root@sysrescue /mnt/serveur]# lvs

sdb, c’est le disque HS

#28

L’offset des données ne correspond pas au superbloc précédent. Il faut recommencer forçant l’offset avec --data-offset=1M (2048 secteurs).

#29

je stop le raid md0 et je relance la commande mdadm --create avec à la fin --data-offset=1M
c’est ça ?
tu peux me donner la commande exacte ! ça m’évitera de faire des conneries ! (je sais je suis un peu chiant !!!)

#30 
mdadm --create /dev/md0 --assume-clean --data-offset=1M --level=5 --raid-devices=4 missing /dev/sd{c,d,e}1
#31 
[root@sysrescue ~]# mdadm --create /dev/md0 --assume-clean --data-offset=1M --level=5 --raid-devices=4 missing /dev/sd{c,d,e}1
mdadm: /dev/sdc1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Mon Dec 14 14:40:08 2020
mdadm: /dev/sdd1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Mon Dec 14 14:40:08 2020
mdadm: /dev/sde1 appears to be part of a raid array:
       level=raid5 devices=4 ctime=Mon Dec 14 14:40:08 2020
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
[root@sysrescue ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] 
md0 : active raid5 sde1[3] sdd1[2] sdc1[1]
      2930276352 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [_UUU]
      bitmap: 8/8 pages [32KB], 65536KB chunk

unused devices: <none>
[root@sysrescue ~]# 

[root@sysrescue ~]# blkid /dev/md0
/dev/md0: UUID="UfQVDk-PHMa-3i8i-T3Ly-zkkX-BOYC-jNbK5B" TYPE="LVM2_member"
[root@sysrescue ~]# pvs
  Error reading device /dev/sdb at 0 length 512.
  Error reading device /dev/sdb at 0 length 4096.
  PV         VG         Fmt  Attr PSize  PFree  
  /dev/md0   Serveur-VG lvm2 a--  <2.73t 249.21g
[root@sysrescue ~]# 

[root@sysrescue ~]# vgs
  VG         #PV #LV #SN Attr   VSize  VFree  
  Serveur-VG   1  10   0 wz--n- <2.73t 249.21g
[root@sysrescue ~]# 

[root@sysrescue ~]# lvs
  LV          VG         Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  Films       Serveur-VG -wi-a----- 200.00g                                                    
  Imgs        Serveur-VG -wi-a----- 350.00g                                                    
  Info        Serveur-VG -wi-a----- 195.31g                                                    
  Lologramme  Serveur-VG -wi-a----- 300.00g                                                    
  Maison      Serveur-VG -wi-a----- 300.00g                                                    
  Marie       Serveur-VG -wi-a----- 100.00g                                                    
  Musique     Serveur-VG -wi-a----- 200.00g                                                    
  Photos      Serveur-VG -wi-a----- 200.00g                                                    
  Sauvegardes Serveur-VG -wi-a----- 200.00g                                                    
  Simu        Serveur-VG -wi-a----- 500.00g                                                    
[root@sysrescue ~]#

on avance on dirait ? :slight_smile:

#32

Oui, l’ordre semble correct. Maintenant il faut vérifier la cohérence du contenu des volumes logiques.

#33

je fais ça comment ?

#34 
blkid

Ensuite, ça dépend du contenu. fsck pour un système de fichiers par exemple.

#35 
[root@sysrescue /mnt/serveur/Lologramme]# blkid
/dev/sda1: UUID="4a2a8722-c550-42bb-a000-c9f9dd792f16" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="000d30d4-01"
/dev/sda2: UUID="8b3aeac9-9f54-463a-bf1f-ddcddffc19a8" TYPE="swap" PARTUUID="000d30d4-02"
/dev/sdd1: UUID="23368075-ae9d-de31-4423-917f9873c8c6" UUID_SUB="4f5825d8-0bcf-2502-4ff3-c931e1cd02e9" LABEL="sysrescue:0" TYPE="linux_raid_member" PARTUUID="0000cf08-01"
/dev/sdf1: BLOCK_SIZE="2048" UUID="2020-11-22-07-45-48-00" LABEL="RESCUE701" TYPE="iso9660" PTUUID="1d88d02c" PTTYPE="dos" PARTUUID="1d88d02c-01"
/dev/sdf2: SEC_TYPE="msdos" UUID="59B0-9063" BLOCK_SIZE="512" TYPE="vfat" PARTUUID="1d88d02c-02"
/dev/loop0: TYPE="squashfs"
/dev/md0: UUID="UfQVDk-PHMa-3i8i-T3Ly-zkkX-BOYC-jNbK5B" TYPE="LVM2_member"
/dev/sde1: UUID="23368075-ae9d-de31-4423-917f9873c8c6" UUID_SUB="7f039ce3-b22d-0f55-cbbc-617b3c77e938" LABEL="sysrescue:0" TYPE="linux_raid_member" PARTUUID="0001d7a5-01"
/dev/sdc1: UUID="23368075-ae9d-de31-4423-917f9873c8c6" UUID_SUB="53c61c62-7070-6c86-a809-502eaad7cb3e" LABEL="sysrescue:0" TYPE="linux_raid_member" PARTUUID="005f0db9-01"
/dev/mapper/Serveur--VG-Sauvegardes: LABEL="Sauvegardes" UUID="1c448b5c-3fda-40e8-8108-5d3c79caf5be" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Photos: LABEL="Photos" UUID="77c2a93a-8918-48e1-90a5-7ffccbbf71f0" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Lologramme: LABEL="Lologramme" UUID="6eb1695b-cbbf-4ce0-9a7c-d9bcf057a0ed" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Musique: LABEL="Musique" UUID="3978dab3-f0d1-4963-90e4-7a171f736567" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Films: LABEL="Films" UUID="4e80c92a-5256-4e02-b148-ba7df9abb072" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Simu: LABEL="Simu" UUID="15a327c5-82b0-4e24-b025-cd082af0de11" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Marie: LABEL="Marie" UUID="27aa9625-9722-487f-809b-374017d8fa5f" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Maison: UUID="f71ad25d-396c-4c84-af07-f5da9f74426e" BLOCK_SIZE="4096" TYPE="ext3"
/dev/mapper/Serveur--VG-Info: UUID="a6b3a7c1-d112-4bfc-b7fa-1b8697fb119f" BLOCK_SIZE="4096" TYPE="ext4"
/dev/mapper/Serveur--VG-Imgs: UUID="73f9416e-e4b6-4c1b-ae77-23b1ac152a96" BLOCK_SIZE="4096" TYPE="ext4"
[root@sysrescue /mnt/serveur/Lologramme]#
#36

Le contenu des 10 volumes logiques est identifié comme un système de fichiers ext3 ou ext4, mais je ne garantis pas que ça suffit à montrer que l’ordre d’assemblage des disques est correct.

Donc un petit e2fsck -nf sur chacun pour vérifier la cohérence puis un montage en lecture seule pour lire quelque gros fichiers (s’étendant sur plusieurs bandes) pour être sûr.

Note : l’UUID du nouvel ensemble RAID a changé et est différent de celui enregistré dans /etc/mdadm/mdadm.conf, ainsi que le nom d’hôte (homehost). Du coup il se peut qu’il ne soit pas assemblé automatiquement au démarrage du système installé sur /dev/sda. Il faudra mettre à jour mdadm.conf.

#37

donc je fais par exemple:

e2fsck -nf /dev/mapper/Serveur–VG-Films

c’est ça ?

#38

Oui, c’est ça.

#39

ben je veux juste récupérer les données depuis ma clé usb live sur laquelle j’ai booté !
après si il faut recommencer de zéro c’est pas grave !!!

#40

je dois filer !! je reprends les festivité ce soir ou demain !!!
en tous les cas, un grand merci pour ton aide !!!