Meilleure configuration pour un serveur de fichiers ?

Pause Café
#1

Bonsoir à tous,

Je suis utilisateur de debian uniquement sur les serveurs, professionnels ou particulier, et suis nouveau sur debian-fr.org (habituellement je participe sur des forums ou mailling-lists en anglais).

Bref, je viens ici vous demander votre avis sur la configuration, vos remarques, etc…
Je souhaite mettre en place un serveur de fichiers (NFS, AFP, rsync) très rapide et crypté
Actuellement c’est un NAS (Netgear ReadyNAS 1100) qui s’en charge mais il est trop lent (et pas crypté)

Ce serveur sera utilisé principalement par moi mais surtout par mes autres serveurs.
Tout est connecté en gigabit, les serveurs ont un port bonding sur leurs interfaces, tout comme les switchs entre eux, seuls les ordinateurs ont une interface gigabit “simple” (tous sous Mac OS X 10.5 ou Linux)

Actuellement, les serveurs écrivent en continu des données sur le NAS actuel (4x 1To en RAID5), environ 200 Mb/s de traffic en permanence (ZoneMinder, snapshots, backups et d’autres applications) via NFS et rsync.

Mon idée de départ était celle-ci:

  • Serveur Dell PowerEdge 850 (P4 HT @3,6 GHz et 4 Go de RAM)
  • Debian Lenny 64 bits
  • Carte Areca ARC-1680 RAID SAS (PCI-Express 8x)
  • 6 disques Seagate Cheetah 15K.6 (SAS) 146 GB
  • RAID 50, soit environ 550 Go disponible
  • RAID 1 sur deux disques SSD de 16 Go pour l’OS
  • Disque USB de 500 Go pour la réplique en temp réel des données
  • Port bonding (LACP) sur les deux ports gigabits du serveur
  • Pas de jumbo frames, malhereusement les cartes réseau du serveur ne les supportent pas)

Avec snapshot toutes les heures et backup tarball toutes les nuits sur l’ancien NAS (par nfs), copie des données essentielles par rsync au travers d’une VPN vers un autre site et conserver les données les plus grosses mais les moins utilisées sur le NAS, mais cryptées par ce serveur de fichiers.
(Le NAS est sauvegardé sur deux disques USB 1 To indépendants)

Le nouveau serveur devra faire tourner netatalk et nfs-kernel-server (éventuellement samba) et les données doivent être complètement cryptées (l’assisstant d’installation de debian va bien pour créer la config initiale).

Seul le boot par une clé USB doit être possible (j’ai trouvé ces explications wejn.org/how-to-make-passwordles … setup.html) et tous les backups doivent être cryptés (sur le NAS et sur les disques USB).

Est-ce que la puissance du serveur suffira pour tout crypter on-the-fly ?
Et quel programme utiliser pour crypter les données sauvegardées ?
(actuellement j’utilise rsync, rsnapshot et backup-manager).
Quels débits est-ce que je vais atteindre ?
(selon mes calculs sur le RAID50, je devrais avoir du 1’200 Mb/s sur les disques, la carte SAS ne peut pas aller plus vite que 860 Mb/s, quelle vitesse pour le port PCI-Express 8x ?)
Est-ce que le bus (800 MHz) risque d’être saturé ?
Quel système de fichiers utiliser ? J’ai l’habitude de mettre du XFS…

Autre question: j’ai un serveur Dell PE 2850 avec 6x146 Go, 2x 3,6 GHz et 6 Go de RAM qui vient de se libérer et j’hésite à l’utiliser à la place du PE 850.
Est-ce que les différences de performance entre les disques SAS et SCSI sont grandes ?
Le controleur interne (cartes perc4) ne supporte par le RAID 50, je suis obligé de faire “que” du RAID5, grande différence avec le RAID50 (en terme de fiabilité et de vitesse) ?

Vous l’aurez compris, les données stockées sur ces serveurs sont vitales et confidentielles…
Est-ce que la conception du système est assez robuste pour ne jamais perdre ces données ?
Existe-t-il une autre solution que le boot par clé USB mais tout aussi sécurisée ?
(par exemple avec un lecteur d’empruntes digitales)

Voilà, merci pour vos conseils, remarques, etc…
Bonne soirée !

#2

juste des notes/remarques :

pour moi, la meilleur securité / performance est atteinte par le raid 10. même si les calculs donnent le raid 50 gagnant sur la vitesse et l’espace disponible.

en raid 10 tu peux avoir trois grappes de deux disques ou deux grappes de trois disques (dont un de spare). ainsi tu perds en espace mais tu peux perdre deux disques par grappe sans perte de données. alors que en raid50, si tu perds 2 disques sur une grappe, tu perd tout.

vérifie si ta carte RAID peut intégrer des batteries pour la sauvegarde du cache en cas de coupure.

si tu veux installer du LVM pour garder la flexibilité et pouvoir ajouter facilement des disques sans casser de partitions, tu ne pourras pas utiliser XFS dessus.

#3

Salut Thomas,
Merci beaucoup pour tes suggestions !

La carte RAID Areca a bien une batterie de backup, tout comme le PE 2850.
Et tout le système est sous onduleur on-line.
J’ai oublié de préciser que le cache de la carte Areca est de 2 Go (par rapport au PE 2850 qui est de 256 Mo)
Y a-t-il une réelle différence ?

Je suis de toute façon obligé d’utiliser du LVM pour faire ma partition cryptée (autrement je suis bloqué en ext2…).
Tu sembles vouloir dire qu’on ne peut pas re-dimensionner la taille d’un volume XFS après sa création ?
Il me semblait avoir vu l’outil xfs_resize…
De toute façon je ne peux pas mettre plus de 8 disques au niveau de la carte et au niveau du hardware…le problème est vite réglé !

Concernant le RAID 10 vs RAID 50, je me suis dit que vu les backups indépendants je devrais pouvoir re-créer assez facilement le volume, mais est-ce que c’est fréquent d’avoir deux disques en defaut en même temps ?
Pour une application critique, tu ne prendrais pas ce risque ?
Et de ton expérience, est-ce que le disque de hotspare est souvent utilisé ?
(je n’ai jamais testé cette possibilité)

Pour faire les sauvegardes cryptées sur le NAS, j’ai peut-être trouvé une idée: en montant le NAS via iSCSI je peux créer la partition pour les backups de façon cryptée, tout comme sur les disques USB.
Est-ce correct ?

Merci encore !

#4

[quote=“galphanet”]Tu sembles vouloir dire qu’on ne peut pas re-dimensionner la taille d’un volume XFS après sa création[/quote]j’avais cru lire que non, mais après une petite recherche, peut être je dis une connerie. à verifier.

[quote=“galphanet”]est-ce que c’est fréquent d’avoir deux disques en defaut en même temps ? Pour une application critique, tu ne prendrais pas ce risque ?
Et de ton expérience, est-ce que le disque de hotspare est souvent utilisé ?[/quote]pas forcement en même temps, mais à quelques heures d’intervalle c’est possible, et souvent la nuit quand tu es pas là. à ce moment le disque de spare (qui n’est jamais utilisé car configuré en spare - donc considéré comme neuf) va se construire automatiquement pour remplacer le disque qui vient de flancher… si un secon disuqe flanche quelques heures après, il aura sauvé ta machine. ça m’es arrivé debut janvier, on a eu un problème electrique, et je pense que la machine a souffert. dans les jours suivants, on a perdu trois disques sur les six.

mais tu peux pousse rle vice en te disant que tu n’as qu’une carte controleur, donc est ce qu’il en faut deux ? idem pour chaque composant. mais il est vrai que les données sont une importance cruciale, donc on les privilégie.

en fait la meilleur solution est un serveur haute dispo et rapide … et un second dans une autre salle, avec DRDB qui est censé te gérer un backup synchronisé, donc sans perte de données en cas de panne. plus mieux à mon gout que des snapshots toutes les heures sur un disque usb, et en plus, le mettre dans un autre local evite certaines causes de sinistres et evite aussi les copies à travers le VPN.

achete aussi un lecteur pour faire de la sauvegarde sur bande … si il te reste des sous :mrgreen:

question : pourquoi ne booter que depuis une clé usb ? c’est au cas ou on te vole le serveur ? d etoute façon avec le LVM crypté il te demande un mot de passe systématiquement lors du boot non? tu pourrais aussi le couler dans une tonne de beton armé ou le souder dans la baie ? :smt005

#5

D’accord merci !

Est-ce que le disque hotspare tourne tout le temps ou il est en veille et se met en route uniquement lorsqu’il devra être utilisé ?

J’ai déjà des serveurs avec DRDB mais ce n’est pas compatible avec le cryptage (lors du failover la partition ne peut pas être remontée automatiquement à cause du mot de passe).

L’idée de la clé USB est que je suis le seul a savoir comment le demarrer, même si le mot de passe est connu d’une autre personne. Mais il y a peut-être une autre solution tout aussi efficace ?

Les serveurs sont dans un rack 12U, pas soudés mais pas loin :wink:
Il n’y a plus de place dedans et je ne peux pas mettre un autre serveur dans un autre local…

Justement j’essaie de limiter les dépenses et faire avec ce que j’ai a disposition…
Avec quel programme peut-on gérer les DAT ?
J’en ai un vieux en SCSI…mais j’ai le sentiment que c’est dépassé et de moins en moins utilisé (mais je n’ai pas d’experience dans ce domaine)

Je reviens a ma première question: est-ce que le serveur est assez puissant pour gérer tout ceci tout en étant rapide lors des transferts ?
Et est-ce que je verrai une grosse différence entre le PE850 et le PE2850 ?

Merci encore pour tes conseils !

#6

non, il est en ‘veille’. sur mon serveur HP proliant, les voyant des disques spare sont éteints.

DRDB ne fait pas de failover (je crois) c’est juste une replication synchrone. toujours mieux qu’un disque usb (je crois) qui ne fait pas de failover nono plus et ne doit pas être si fiable que ça. de plus les snapshots toutes les heures doivent quand même se faire sentir sur les perfs. mais quitte a prevoir une opération manuelle en cas de crash du serveur, tu iras plus vite en relançant le serveur de backup qu’en te balladant avec tes disques usb (qui seront aussi HS en cas de sinistre important).

ça c’est l’idée du siècle. tout le monde sait (surtout ton patron) que tu es immortel et que tu va passer toute ta longue vie dans cette société. sans jamais être absent, surtout pas le jour ou le serveur ira mal. des gens comme toi j’en connais, ils veulent se rendre indispensables et du coup bossent le samedi et le dimanche car ils ne veulent rien deleguer … je ne te dis pas ça méchamment mais fait attention ou tu t’engages quand même. pour anequedote j’en connais un qui a du venir bosser le jour de enterrement de son propre pere car il etait le seul à ‘savoir faire’ comme tu dis.

en terme de HA, il faut d’abord faire chiffer par ta société, ‘combien ça coute à la société si on perd notre salle info suite à un sinistre’. le PCA ne concerne pas que le service info, mais toute la boite.

[quote=“galphanet”]Je reviens a ma première question: est-ce que le serveur est assez puissant pour gérer tout ceci tout en étant rapide lors des transferts ?
Et est-ce que je verrai une grosse différence entre le PE850 et le PE2850 ?[/quote]

ça j’en sais rien … :mrgreen: mais si le cryptage utilise bcp de CPU (il doit y avoir des sites spécialisés pour ça) alors mets y un gros CPU multi coeurs et puis voila :smt003 . ou fais un cluster avec ton vieux serveur et le nouveau.

#7

Oui je suis tout a fait d’accord avec toi sur les personnes qui se rendent indispensables !
Ici c’est un cas différent puisque ce rack est chez moi et que j’en suis le seul utilisateur direct.

C’est aussi pour cela que j’essaie de faire avec les moyens du bord.

Sur le NAS actuel, ma société envoie toutes les nuits ses sauvegardes de sauvegarde via la VPN et vice versa, c’est le seul élément externe qui intervient sur ces serveurs.

Pour DRDB, on peut le combiner avec heartbeat avec un failover automatique pour un serveur NFS ou iSCSI.

Bref, je vais essayer les deux options pour voir les performances.

Merci encore !

#8

une chance qu’il y ait autant de réponses sur ce fil, parceque normalement, un fil égaré dans trucs et astuces va à la poubelle sans sommation ni excuse.

galphanet: merci de lire les postits d’utilisation dans les diverses sections du forum pour ne pas recommencer.

Je déplace ce fil dans pause café, vu que c’est une discussion ouverte, et pas vraiment un pb de support.

#9

oui, mais je disais ça parce que dans ton cas à cause du cryptage hearthbeat ne sert à rien, car il faut une intervention manuelle et ta fameuse clé usb pour le relancer.

en tout cas ça serait intéressant que tu donnes ta config finale et un compte rendu des perf obtenues.

#10

Intéressant ce fil, effectivement, donne du retour. Je n’ai aucune expérience pour des configs aussi musclée et ça m’intéresse. Le pbm de la clef USB comme du lecteur d’empreinte est la fiabilité. J’avoue que je suis assez de l’avis de Thomas sur ce point. J’ai chez moi un serveur avec des données très confidentielles et exploitées à la volée (cryptage/décryptage à la volée). Je me suis arrangé pour que si vol il y a, tout ce qui est confidentiel soit crypté. Un vol du serveur (facile, c’est un fit PC -tu vois que ça n’est pas la même catégorie :slightly_smiling:-) ne servira à rien.

#11

Soyons précis: le cassage du cryptage une fois volée ta box prendra un temps supérieur à la durée de confidentialité des données protégées.
Mais ça revient au même.

#12

salut

après avoir relu les messages, quelques docs, et avoir interprété ça à ma sauce …

DRDB fait de la replication synchrone (donc pas de perte de données à envisager) en mode bloc, donc AMA il se fout de ce qu’il y a dessus que ce soit crypté ou non. il faudra juste prevoir une intervention ou un outil pour réaliser la bascule prod/backup.

même si tu trouves ça ringard, la sauvegarde sur bande est une des meilleurs alternatives. car à la différence de sauvegarder sur disque, tu peux conserver un historique important (tu fait tourner plusieurs bandes, afin de ne pas effacer la sauvegarde de la veille pour mettre celle du jour). et les bandes peuvent se conserver longtemps. par exemple les bandes LTO-4 ont une capacité de 800 Go (1,6To avec la compression materielle) et un débit de 120 Mo/s, de plus elles peuvent assurer un chiffrement materiel 256-bit AES-GCM). La durée de vie du média (théorique !!) est estimée à 30 ans et 20000 chargements/déchargements. tu les stockeras bien sur à l’abri et sur un autre site. (voir aussi les commandes linux dump et restore)

LVM + XFS : en fait ça marche mais j’ai cherché car je suis sur d’avoir deja vu un truc à ce sujet, tu ne pourras pas réduire la taille d’une partition XFS qui est sur un volume LVM. c’est ça le point noir. donc dans ton cas ce n’est pas forcement un pb à toi de voir.

et pour le disque de spare dans une grappe raid, oui il est à l’arrêt, de toute façon il n’y a rien dessus. il n’est pas ‘construit’.

sur le site du clusif, tu trouveras pas mal de docs sur la sécurité, la haute dispo, … c’est très théorique, et écrit pas des gens qui ont beaucoup de diplômes, mais sans doute jamais mis la main sur un clavier. mais ça peut t’inspirer niveau architecture.

#13

Salut,

Ok pour le DRDB, bon je pense pas le mettre en place car ça monopoliserait le seul serveur restant.

Par contre pour les sauvegardes sur bande, je vais me renseigner. Connaissez-vous un lecteur USB (car il ne me reste qu’un port USB sur le serveur) pas excessivement cher et compatible linux ?

Je vais donc configurer un disque hotspare et finalement je me demande si les disques SSD sont vraiment utiles…les disques SAS pourraient aussi faire l’affaire.

Merci pour le site de la clusif, je connaissais pas !

Je vais écrire un petit article avec un howto pour ceux que ça intéresse, je donnerai le lien ici dès que c’est prêt.

@mattotop: désolé pour l’erreur je ferai gaffe la prochaine fois

#14

normalement les ssd ont de très faibes temps d’accès (pas de mécanique).

de toute façon, pour le choix raid 10/50 le mieux est que tu fasse toi même les tests de performance sur les deux configs avant de mettre le serveur en prod.

pour le how-to / tuto ce serait super car tout le monde n’a pas ce genre de materiel sous la main.

#15

quote=“galphanet”
@mattotop: désolé pour l’erreur je ferai gaffe la prochaine fois[/quote] Nobody’s perfect. Je pense que tu es du genre à avoir écouté+compris de quoi je parlais, donc c’est oublié.

#16

Petit retour après quelques benchmarks:
Je copie toujours un fichier de 1.5 Go depuis un iMac dernière génération par AFP puis depuis un serveur Dell PE R300 en NFS (15’000T/s SAS, debian lenny 64bits et port bonding)

Copie sur un Dell PE 2850
(6x 15’000T/m SCSI et un contrôleur RAID 5 avec 256 Mb de cache sur debian lenny 32bits, Xeon 2x3.6 GHz, sans cryptage, port bonding)
Moyenne de 72 Mo/s avec n’importe quel protocole, débit constant
Charge moyenne durant la copie: 0.2 (2 coeurs CPU à 30%, les deus autres à 2%)

Copie sur un Dell PE 850
(Contrôleur en RAID1 avec 2 Go de cache sur 2 disques standards SATA 7’200T/m sur debian lenny 64bits, P4HT à 3.6 GHz, avec cryptage, port bonding)
Moyenne de 66 Mo/s avec n’importe quel protocole, débit variable
Charge moyenne durant la copie: 0.7 (1 coeur CPU à 100%, l’autre à 3%)

Donc j’en conclus que:

  • le cryptage ne change rien au niveau des performances
  • le 64bits ne change rien au niveau des performances
  • le cache sur le contrôleur est très utilisé si les disques ne sont pas assez rapides (c’est à mon avis la cause du débit variable)
  • je vois l’utilité des disques SAS 15’000T/m
  • serveur ou iMac, mêmes performances (pourtant sur un réseau gigabit avec du port bonding)
  • la RAM n’est pas un élément déterminant (350Mb utilisé sur les deux serveurs durant la copie)
  • netatalk ne sait pas bien tirer parti des multi-coeurs

J’obtiendrai donc de meilleures performances sur le PE 850 avec de bons disques en RAID (10 ou 50, à décider).