LLMentorGrid (Alpha)

[fzs600]

Infos utiles.
Projet en phase Alpha.
L'installation de Docker est nécessaire.

Bonjour à tous,
Je suis très heureux de l'incroyable réponse à ce projet ! Alors que je l'ai initialement partagé uniquement sur le forum Boinc.Italy, il est étonnant de voir à quel point le mot s'est répandu au-delà.
Je veux être transparent sur l'état d'avancement du processus de développement : nous sommes actuellement dans une phase de test alpha très précoce. Pendant cette période, j'expérimente différentes configurations d'applications et de tâches.
Pour ceux qui nous ont déjà rejoints, sachez que vous participez à la phase expérimentale où les comportements et les problèmes inattendus sont tout à fait normaux. Bien que je ne veuille pas décourager la participation de quiconque, je dois mentionner que le projet sera officiellement lancé dans 1 à 2 mois. C'est à ce moment-là que nous aurons vraiment besoin de votre soutien total (et plus encore !).






Statut : actif
URL du projet : http://boinc.llmentor.org/LLMentorGrid/
Application disponible : http://boinc.llmentor.org/LLMentorGrid/apps.php
État du serveur : http://boinc.llmentor.org/LLMentorGrid/server_status.php
L'alliance francophone : http://boinc.llmentor.org/LLMentorGrid/team_display.php?teamid=10 


Mis a jour par fzs600 le 9 février 2025.

[JeromeC]

La recherche sur les grands modèles de langage est particulièrement coûteuse en termes de ressources informatiques, ce qui peut rendre difficile la recherche sur ces modèles intéressants. Pour cette raison, LLMentorGrid propose l'utilisation de la plateforme de calcul distribué 'Boinc' afin d'utiliser les ordinateurs des volontaires pour exécuter des applications utiles pour faire avancer la recherche scientifique sur ces modèles.

L'entraînement d'un modèle à l'aide d'un paradigme distribué tel que Boinc n'est malheureusement pas facile à réaliser : l'entraînement se déroule de manière séquentielle et est donc difficile à paralléliser dans une série de « workunits » car, dans la pratique, le workunit « suivant » dépendrait du « précédent », et ainsi de suite, ce qui ferait disparaître les avantages de disposer d'un grand nombre de machines. Cet aspect, ainsi que les exigences excessives en termes de puissance de calcul, de mémoire, d'entrée/sortie et de bande passante, ont jusqu'à présent découragé l'utilisation de Boinc dans le domaine des grands modèles de langue, malgré le grand impact que ces modèles ont dans le paysage contemporain.

LLMentorGrid, en revanche, propose la création d'une plateforme Boinc pour mener des expériences sur les LLM qui ne sont pas directement en train d'entraîner ou d'adapter de grands modèles.

Tout d'abord, LLMentorGrid propose d'utiliser la puissance de calcul gentiment offerte par les volontaires pour effectuer des tâches d'inférence, c'est-à-dire exécuter des modèles existants afin de collecter le contenu généré par le modèle. Cela peut servir plusieurs objectifs, tels que la génération de divers types de données synthétiques (comme des résumés, des paires de questions/réponses, des chaînes de raisonnement...) précieuses pour l'entraînement ultérieur de nouveaux modèles.

LLMentorGrid est certainement une plate-forme appropriée pour l'étalonnage des modèles, c'est-à-dire la soumission de batteries de tests pour vérifier et évaluer leur performance.

Enfin, LLMentorGrid est un projet dont le but principal est de faire avancer la recherche liée au thème de l'interprétabilité, c'est-à-dire la tentative d'ouvrir la «boîte noire» constituée par les «poids» d'un modèle déjà entraîné, obscure même pour les développeurs du modèle eux-mêmes, afin de répondre aux questions liées à «pourquoi» un modèle se comporte d'une certaine manière et quels types de circuits émergent en son sein afin d'effectuer les différentes tâches dont il est capable. Il s'agit d'une étude fascinante et fondamentale en ce qui concerne le problème de l'alignement, c'est-à-dire l'assurance que les modèles suivent les objectifs fixés par ceux qui les développent et évitent les comportements dangereux ou nuisibles. A cette fin, LLMentorGrid peut être utilisé pour exécuter des bibliothèques telles que 'transformerlens' pour collecter et analyser les états d'activation du modèle, ou exécuter des autoencodeurs dispersés pour essayer d'identifier quels 'neurones' d'un modèle sont activés dans différentes situations. Contrairement à l'apprentissage de modèles, qui est difficile à paralléliser et donc à réaliser via Boinc, les recherches d'interprétabilité se prêtent bien à une architecture distribuée car les expériences sont facilement décomposées en petits éléments qui peuvent ensuite être agrégés.

Pratiquement rien eu à corriger de la trad deepl, qui est lui même une IA...

Bientôt ils auront plus besoin de nous

[JeromeC]

Bienvenue sur LLMentorGrid - Phase de test

Bonjour à tous,

je m'appelle Matteo Rinaldi et je suis chercheur à l'Université de Turin.

Pour le moment, je suis le seul administrateur du projet, mais cette situation doit être considérée comme temporaire : le projet est intéressant et dès que je parviendrai à obtenir des résultats grâce à votre aide, j'impliquerai également d'autres collègues.

Dans cette première phase de test, les objectifs sont les suivants :

Faire fonctionner le modèle 'Geppetto' en utilisant la bibliothèque 'Transformers' bien connue de HuggingFace. Le premier lot de tests consiste à interroger le modèle avec un peu plus de 127 000 phrases, extraites d'œuvres du domaine public trouvées sur LiberLiber. L'application se contente d'interroger le modèle et d'enregistrer la réponse : les résultats n'ont aucune valeur d'un point de vue scientifique, mais il s'agit d'une étape essentielle pour vérifier la justesse de l'idée et le fonctionnement réel du serveur.

Le deuxième objectif sera d'essayer de faire fonctionner un modèle plus grand, par exemple Minerva dans les différentes « tailles » 1B, 3B et 7B. Au cours de cette phase, nous expérimenterons également l'utilisation des GPU. Une fois que la fonctionnalité et la performance de l'architecture ont été vérifiées avec des modèles plus significatifs, LLMentorGrid peut commencer à être utilisé pour des expériences impliquant l'inférence, c'est-à-dire l'interrogation d'un modèle avec des invites spécifiques afin de créer des ensembles de données synthétiques de différentes sortes. D'autres détails suivront après la conclusion de la phase de test.

Parallèlement aux projets d'inférence, je prévois d'utiliser LLMentorGrid pour des études d'interprétabilité. Nous essaierons d'exécuter les cadres TransformerLens et SAELens via Boinc pour réaliser des expériences scientifiques afin d'étudier le fonctionnement des modèles.


IMPORTANT LLMentorGrid utilise le nouveau mécanisme 'Buda' qui vient d'être introduit dans Boinc, qui implique l'utilisation de Docker pour exécuter des conteneurs dans lesquels l'application peut facilement trouver toutes les bibliothèques dont elle a besoin. En raison de ce choix de conception et compte tenu du fait que Buda est actuellement en phase de test bêta, des étapes supplémentaires sont nécessaires pour que les utilisateurs puissent exécuter l'application :

1) Installer Docker. Cette procédure peut varier en fonction de la distribution Linux utilisée, par exemple sur Ubuntu il est nécessaire d'utiliser la commande

Code Sélectionner Étendre

sudo apt-get install docker.iotandis que sur Arch

Code Sélectionner Étendre

sudo pacman -S docker

2) Exécutez la commande

Code Sélectionner Étendre

sudo ln -s /usr/bin/docker /bin/unknown
. Ceci est pour vous protéger au cas où le client Boinc ne reconnaîtrait pas l'installation de docker et appellerait donc la commande unknown. Il s'agit d'une mesure temporaire qui devrait être corrigée dans les prochaines versions de Boinc.

3) Donnez à l'utilisateur boinc les permissions d'utiliser docker

Code Sélectionner Étendre

usermod -aG docker boinc
. Si cela ne fonctionne toujours pas, usermod -aG docker username/code] en remplaçant username par votre nom d'utilisateur.

Veuillez utiliser le fil de discussion « Geppetto Test 001 - Reports and Comments » dans la section « Number Crunching » pour toute discussion technique concernant l'exécution de l'application.

Amusez-vous bien et merci beaucoup !

Matteo

[JeromeC]

Il y a déjà 4 applications différentes, toutes linux.

Il y a des tâches dispo pour la 4ème "Minerva 7B Instruct Q6 inference via LLama.cpp".

[fzs600]

L'alliance francophone : http://boinc.llmentor.org/LLMentorGrid/team_display.php?teamid=10

[fzs600]

http://boinc.llmentor.org/LLMentorGrid/forum_thread.php?id=1&postid=83

Bonjour !
Les tests se sont bien déroulés.
Pendant cette semaine, j'ai travaillé sur le prochain projet scientifique : nous allons utiliser la bibliothèque « Transformer Lens » pour faire des analyses sur l'intérieur des transformateurs. Le sujet est compliqué et j'ai besoin de temps pour tout mettre en place, la bonne chose est qu'il devrait être facile d'intégrer cette bibliothèque dans Boinc parce que je peux réutiliser l'application docker que j'ai utilisée pour « Geppetto ».
Tout d'abord, nous allons effectuer des tests sur GPT2, juste pour reproduire des résultats déjà rapportés dans des articles scientifiques. Ensuite, nous passerons à d'autres modèles et sujets pour finalement faire de la nouvelle science.
Lorsque ces nouveaux WUs seront disponibles, j'écrirai une bonne explication pour que tout le monde comprenne ce que nous faisons.

Au cours de cette semaine, vous verrez également résolus les problèmes suivants :
- bibliothèques manquantes (très facile à résoudre)
- Problème des threads de LLama.cpp : parce que je n'ai pas de machine avec beaucoup de threads pour le tester, je n'avais pas remarqué que l'application llama.cpp, lorsqu'elle tourne sur le CPU (habituellement je fais tourner l'application sur le serveur de l'université avec le GPU à la place), a besoin d'un paramètre de ligne de commande pour décider du nombre de threads. Je pense qu'il est facile de faire correspondre ce paramètre de ligne de commande avec le nombre de threads décidé par Boinc Client (nombre maximum de threads de la machine ou préférences de l'utilisateur).

En ce qui concerne les GPU, la réponse est un grand oui. Le support des GPU est définitivement dans la liste et a été planifié depuis le début. Il ne devrait pas être si difficile d'ajouter le support des GPU dans docker, mais je ne vais le faire qu'une fois que tous les points précédents seront résolus, car cela ajoute une autre couche de complexité et c'est plus difficile pour moi de déboguer car je n'ai pas de GPU Nvidia CUDA sur ma machine personnelle. Je dois le faire sur le serveur HPC ou en louer un.

Merci de me faire savoir si quelqu'un arrive à Pianoman : d'une manière ou d'une autre, MLC@Home a réussi à faire tourner des applications pytorch sans docker, et ce serait très bien pour ce projet (beaucoup plus facile pour les volontaires).

En ce qui concerne la validation de Geppetto, oui, le validateur a été désactivé. Je vais maintenant le lancer manuellement, vous verrez donc bientôt les derniers WUs validés.

Traduit avec DeepL.com (version gratuite)

[JeromeC]

Ils ont dit pas mal de choses intéressantes avant ce poste dans le sujet en question, l'admin communique pas mal pour le moment. On est encore dans les 100 jours