[Résolu] Faire un cluster sous Debian

Pause Café
#1

Hello à tous

Je vais récupérer 16 ordis :smt050 plutôt potables pour Linux très prochainement (Intel mono coeur à 2 GHz, 256 Mo de RAM, 40 Go de disque dur) et je compte bien les relier entre eux pour me faire mon cluster perso :smt026
Plus exactement, je compte monter à terme une solution de services pour les entreprises.

J’ai cherché ce qui existait déjà, y’a des trucs tout prêts apparemment, mais j’aurais voulu savoir si vous avez déjà eu affaire à un cluster ? Ca se gère facilement ? Quels sont les paquets recommandés ? Quels sont les points positifs et négatifs ? Est-ce que c’est vraiment la misère à gérer ou y’a juste un truc de plus à faire et tout apparaît comme si c’était qu’un seul ordi ?

Merci à vous

#2

Il n’y a pas >une< solution de cluster, il y a >des< solutions de cluster. Ca dépend de ce que tu veux faire. Il faut lire les docs, tester, choisir. Ce n’est jamais simple à monter en tous cas.

#3

[quote=“tntprog”]
Je vais récupérer 16 ordis [/quote]
N’oublies pas de faire un cluster de multiprises :wink:

Jamais fait ça, mais j’ai regardé par curiosité et y’a pas mal de tutos. Avec un peu de théorie ça me semble jouable (mais certainement compliqué).

#4

C’est pas vraiment compliqué: ça se comprend bien dans le détail, mais c’est complexe à gèrer sans se planter dans les détails.
(enfin pour les quelques approches que j’ai faites par curiosité).

Mais vraiment, ça dépend de ce qu’on cherche. Si c’est pour de la redondance ou du failover de service, pas besoin de clusteriser à proprement parler, il y a des solutions de tolèrance (ultramonkey.org/).
Si c’est pour de la pure compil, 50 000 solutions de parallèlisation (dcache au plus simple) sont dispos.
Si c’est pour vraiment faire du cluster de calcul, là, il faut mettre le nez dans les systêmes de fichier partagés performants, etc… Ca, c’est l’étape qui me manque. De toutes façons, il faut avoir une idée de développement d’un calcul à faire sur le cluster, parcequ’il n’y a AMA pas grand soft grand public qui exploite des clusters en natif.

#5

+1

Pose toi effectivement la question de ce que tu veux paralléliser et ensuite choisis ta solution.
Mais les calculs qu’on balance sur ce type de système sont toujours spécialisés. Tu vas donc mettre les mains dans le cambouis et dans le code aussi.

Bon euh, par contre je peux te trouver de la charge cpu :smiley:

#6

Ce que je veux surtout faire c’est mettre en commun les ressources de tous les ordis, entre autres les CPU mais aussi les disques durs afin de faire du stockage. Ainsi, il suffit de configurer un nouvel ordi, de le rajouter sur le réseau et hop j’augmente la puissance de mon parc. En fait c’est plus un serveur qu’un cluster mais j’imagine que si je veux exploiter le tout comme un gros ordi il faut passer par là non ?

#7

Comme on t’a dit, ça n’a pas d’interet de monter un cluster à proprement parler si tu n’as pas un logiciel spécifique qui exploite ce que ça peut te fournir comme puissance, c’est une perte de ressource: la “puissance ajoutée” par l’ajout d’une machine décroit trés rapidement et devient minime au bout de 4 machines.
Ce qui n’empêche pas qu’il y ait d’autres solutions pour distribuer du disque avec plusieurs machines comme si c’etait une seule, ou fournir un service réparti en charge sur plusieurs machines comme s’il n’y avait qu’une machine.
Mais ce ne sont pas de “purs clusters”, et l’interet d’un tel truc se limite au cas ou tu as ta propre appli prévue pour la clusterisation à faire tourner dessus (calcul scientifique, imagerie, et de manière générale gros traitements varié de données similaires en parallèle).
Si tu veux malgré tout ce qu’on t’a dit perdre du temps à jouer avec des clusters, j’ai trouvé ça:
debianclusters.cs.uni.edu/index.php/Main_Page
Pour ce qui est de la mutualisation de service, je ne sais pas si tu as regardé le lien ultramonkey indiqué plus haut, qui explique l’essentiel, et si c’est du disque, je chercherais des solutions bsd: c’est avec ça qu’on fait souvent les NAS.

#8

[quote=“mattotop”]Comme on t’a dit, ça n’a pas d’interet de monter un cluster à proprement parler si tu n’as pas un logiciel spécifique qui exploite ce que ça peut te fournir comme puissance, c’est une perte de ressource: la “puissance ajoutée” par l’ajout d’une machine décroit trés rapidement et devient minime au bout de 4 machines.
Ce qui n’empêche pas qu’il y ait d’autres solutions pour distribuer du disque avec plusieurs machines comme si c’etait une seule, ou fournir un service réparti en charge sur plusieurs machines comme s’il n’y avait qu’une machine.
Mais ce ne sont pas de “purs clusters”, et l’interet d’un tel truc se limite au cas ou tu as ta propre appli prévue pour la clusterisation à faire tourner dessus (calcul scientifique, imagerie, et de manière générale gros traitements varié de données similaires en parallèle).
Si tu veux malgré tout ce qu’on t’a dit perdre du temps à jouer avec des clusters, j’ai trouvé ça:
debianclusters.cs.uni.edu/index.php/Main_Page
Pour ce qui est de la mutualisation de service, je ne sais pas si tu as regardé le lien ultramonkey indiqué plus haut, qui explique l’essentiel, et si c’est du disque, je chercherais des solutions bsd: c’est avec ça qu’on fait souvent les NAS.[/quote]
OK donc je vais m’orienter vers d’autres logiciels. :smt002 Je n’étais pas sur que ce soit la meilleure solution donc j’ai bien fais de demander avant de me lancer dans un truc pareil !
Je vais regarder de plus près les BSD dans ce cas, mais j’ai peur qu’il n’y ait pas tous les drivers disponibles pour le matériel.

Merci à tous pour vos réponses