Installer un LLM sur un ordi debian dédié

Bonjour,

J’aimerais installer un LLM de création d’image sur un ordi pour le dédier à la création d’images. J’image utiliser un debian bookworm dont j’ai l’habitude, mais bon, est-ce le meilleur OS pour ce projet? Dois-je passer par Mint, ou Ubuntu? ou autre?

à vous lire

Tony

Bonjour Tony

Je n’ai pas la compétence pour t’aider, mais je suis curieux de la finalité. Est ce une démarche artistique ?

1 J'aime

J’ai du mal à imaginer qu’un LLM généraliste soit faisable, rien que la place des paramètres d’un LLM (plusieurs centaines de milliards) se chiffre en Go, ensuite les données elles mêmes sont énormes, bref ça n’est pas sur un ordi personnel que tu peux faire un LLM.
En revanche tu as effectivement des LLM spécialisés dans la gestion d’images. Ça fonction avec python + pytorch ou tensorflow (pytorch plus souvent). Une debian est très adaptée. La question n’est pas de savoir quelle distribution mais si ça tourne. Debian, Ubuntu, Archlinux, tout ça ce sont des linux.

1 J'aime

Côté matériel il te faudra pas loin de 50 Go de stockage dédié à ça, une carte graphique avec minima 12 Go de VRAM pour des réponses pas trop longue (plus pour plus de vitesse de traitement) et au moins 32 Go de ram, voir plus selon le ou les modèles à charger et le tout sur du ssd très rapide.

Après pour la question des modèles flux et stable diffusion sont souvent discuté pour la génération d’image, tu pourras sans doute les exploiter avec ComfyUI.

1 J'aime

Clochette, tu as déjà fait ça? Ça donne de bons résultats?

Oui et non, je suis pour l’instant en phase de test pour un LLM couplé à ma domotique basé sur Home Assistant, je cherche à me faire une sorte de Jarvis ++ mais j’ai pas beaucoup avancé … faute à la charge de travail et mon besoin de souffler hors de l’informatique (trop d’écran tue l’écran :D).
Par contre dans le cadre de mon travail j’y suis confronté :confused:

C’est surprenant dans certains cas, mais pour moi ça ressemble bien plus dans mon cas à de l’automatisation …
Malgré tout l’utilisation d’IA pour générer des comptes rendues, émettre des propositions basé sur des retex d’équipes dans la résolution de problème et l’amélioration de plateforme marche plus ou moins bien.
Quant à la génération d’image, musique et texte … C’est une mort annoncée de pas mal d’artiste qui me rends triste car les principaux traits humain commencent à être singé à la perfection par les modèles les plus gros.

Sans lancé un débat, je reste sûr qu’apporté de l’IA à la maison pour tous faire c’est Overkill, mais apporté quelque chose de plus ou moins autonome selon certains scénario plus ou moins complexe peux être intéressant mais à quel coût, Finalement l’IA ne reste qu’une forêt d’IF ELSE déguisée :confused:

PS : je pense que ce forum ne sera pas le meilleur ou trouvé de l’aide sur un sujets de niche comme celui-ci, il y a sur Reddit plusieurs salon dessus et sans doute d’autre lieux ou tu trouvera des gens versé dedans.

1 J'aime

Non, personnellement je ne tiens pas oplus que ça à installer cela. Eventuellement une IA capable de trier les photos m’interesserait. Mais sur root-me, j’ai fait les challenges IA. Excepté un sur la possibilité de comprommettre un modèle d’IA en executant une commande quelconque au chargement, les autres sont des façons de contourner une IA de reconnaissance faciale, notamment un des challenges consiste à modifier 200 pixels d’une photo de Morgan Frieman pour qu’il soit reconnu à 99% comme l’administrateur (évidemment) du site. J’y ai passé du temps mais c’est étonnant.

2 J'aime

Si un agent LLM marche très bine. Par contre pour faire des images les performances risquent d’etre faible, à moins d’avoir un gros CPU et au moins une carte graphique NVIDIA dédiée pour ca (donc non utilisée pour l’affichage) et 64Go de RAM serait serait pas mal aussi…

Et il faudrait aussi passer sur une trixie, bookworm trop obsolete.

Une IA c’est un ensemble d’agent. Mais on peut très bine utiliser des Agent pour faire certaines tâche: par exemple ingurgiter de la doc pour pouvoir ensuite l’interroger (c’est une partie de mon projet actuel). Ou bien à partir de données de logs par exemple, faire une analyse comportementale.

1 J'aime

Oui, c’est une démarche artistique, ayant commencé à utiliser l’ordinateur en détournant des outils industriels il y a 20 ans, je compte bien continuer dans ce sens :wink:

Je veux essayé, un LLM le moins éduqué possible sera le mieux, et si ça fait des glitchs, ça donnera une ambiance fantastique, c’est le genre que j’affectionne.

merci pour ces précisions techniques, je vais voir à respecter cela. Mon premier ordi mettait quelques minutes pour calculer une modification sur Photoshop et pour certains projets d’ampleur, j’ai pu attendre des demi-heures.

Bonjour.
Question de néophyte : en quoi consiste « la création d’images » ? C’est dans quel but ?
Merci de vos réponses et bonne journée.

Pour mon activité d’artiste-auteur en Bande Dessinée, ça reviendrait à avoir des assistants comme un créateur de Manga, ou Hergé avec ces studios à l’époque.

Ok, merci.
C’est plus clair :grinning:.
Bonne soirée.