Sujet: MLC@Home

[franky82]

https://www.mlcathome.org/mlcathome/forum_thread.php?id=118#792

Cette semaine dans MLC@Home
Notes pour le 9 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
de la (des) semaine(s) GPU, partie 3. Nous avons pris du temps la semaine dernière pour nous concentrer sur des choses autres qu'universitaires, mais quand même nous avons réussi à sortir un client Linux / CUDA mis à jour qui fonctionne maintenant sur au moins certains systèmes. Tenter de créer une seule application qui s'exécute sur plusieurs versions de système d'exploitation, de pilotes et de CUDA s'avère difficile. C'est également un cas étrange où l'application Linux se révèle plus difficile que celle de Windows ... 2020 est une chronologie vraiment étrange.

Nouvelles :
Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci : https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
Nous avons mis en place un AppPlan BOINC pour filtrer les clients qui peuvent recevoir le client CUDA qui fonctionneront. Vous aurez besoin du pilote CUDA version 440 ou supérieure, de Windows 10 ou Linux avec GLIBC 2.27 ou supérieur et d'une carte nvidia avec une capacité de calcul 3.5 ou supérieure.
Nous nous attendons à aplanir la plupart des questions de CUDA en usage général (non-bêta) pour la semaine prochaine.
Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de cruncher. GRAND progrès jusqu'à présent !
Le débogage du GPU continue de prendre trop de temps, nous sommes impatients de les publier afin de pouvoir nous concentrer sur la science.

Instantané de l' état du projet :
(note ces chiffres sont approximatifs)
     * Tâches
         - Tâches prêts à envoyer : 16536
         - Tâches en cours : 22529
     * utilisateurs
         - Avec crédit : 1134
         - enregistrés au cours des dernières 24 heures : 35
     * hôtes
         - Avec crédit récent : 2097
         - enregistré au cours des dernières 24 heures : 24
     GigaFLOPS actuelles : 26267,99


Progression des ensemble de données 1 et 2 :

SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              949/10005

ParityModified             308/10005
EightBitModified          6713/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression de l'ensemble de données 3 :

Overall (so far): 49317/53359
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 49317/100000
Milestone 3: 100x10000: 49317/1000000

Notes TWIM de la semaine dernière : 2 novembre 2020

Merci encore à tous nos bénévoles !

- Les administrateurs MLC@Home [/ s]

[JeromeC]

Cool ce projet avec un admin qui communique et une équipe qui bosse

[franky82]

Après une version test (qui reste en cours), une application GPU séparée est apparue
https://www.mlcathome.org/mlcathome/apps.php
https://www.mlcathome.org/mlcathome/server_status.php
(ça fera une application de plus pour WuProp)

[zelandonii]

J'ai une bonne moitié des UT qui partent direct en erreurs.

[Maurice Goulois]

Pour le moment, je n'ai que des erreurs sur la gtx-970 qui est sous ubuntu 20.04: j'espère qu'il arriveront à stabiliser l'appli pour linux; pour Windows pas d'erreurs avec la GPU.

[cougarpelardou]

Je m'inscris et teste le GPU Le Maryland, l'état de ce projet a voté à 65% pour Biden et 33% pour le clown orange   

Ceci étant Fort Meade la base de la NSA est aussi dans le Maryland. J'espère que ce projet  n'est pas un honeypot Je fais confiance à Franky   

1 tache GPU Cuda soldée Win 10 Nvidia GTX 1660  0,6 point par seconde 

Je continue

Un projet est pris en compte pour le FB à partir de combien de credits  ?

[[AF>Libristes] Pascal]

 
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.

[[AF>Amis des Lapins] Jean-Luc]

Oui, moi aussi, toutes les WUs pour GPU partent en erreur au bout de quelques secondes !

[[AF>Libristes] Pascal]

Il n'y a aucun résultat pour l'application Machine Learning Dataset Generator (GPU) GNU/Linux alors qu'en version (test) ça a l'air bon.
https://www.mlcathome.org/mlcathome/apps.php

[cougarpelardou]

Sur windows cela a l'air de marcher J'ai déjà 5 UT valides 2 en validation et 0 erreur.

[franky82]

Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !

[Arkhenia]

Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !

Idem de mon côté avec une GTX 1660, toutes les tâches faites sont Ok (ou en pending)

 

[franky82]

https://www.mlcathome.org/mlcathome/forum_thread.php?id=124#854

Cette semaine dans MLC@Home
Notes pour le 17 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC @ Home

Résumé
semaine(s) GPU, partie 4: La saga continue.

Cette semaine, nous commençons à revenir à l'écriture et à l'analyse des données existantes. Il y a encore beaucoup à discuter concernant les GPU, mais nousdevons également prendre le temps d'écrire un peu; et franchement, les problèmes avec le client Linux / CUDA nous ont déconcertés pour le moment, donc prendre une semaine ou deux pour se concentrer sur une partie de la science qui s'accumule devrait nous aider à nous éclaircir la tête et à y revenir avec une nouvelle perspective.

La semaine dernière, nous avons activé la piste de publication (application "mlds-gpu") du client GPU pour Windows et Linux, et la bonne nouvelle est qu'au moins le client Windows fonctionne plutôt bien *, et sa mastication à travers les WU à merveille, complétant le crunch du processeur qui continue sans relâche. Avoir une application séparée nous permet de capturer les exigences de RAM extrêmement différentes pour les WU CUDA sans pénaliser les crunchers du processeur. La ligne GPU nous permet d'envoyer un ensemble de données plus long 1 + 2 WU, ce qui a conduit à une belle augmentation du nombre de Parity * WU complets, ce qui signifie que nous avons enfin plus de 1000 exemples de chaque type de réseau pour Dataset1, et sur notre chemin vers cela dans le jeu de données 2. Ce serait bien de résumer ces deux choses le plus tôt possible. Nous continuerons à publier des WU en parallèle avec les files d'attente CPU et GPU pour nourrir les deux utilisateurs.

Cependant, tout ne va pas bien au pays des GPU. Nous avons publié le client Linux / CUDA, mais après plusieurs jours, pas un seul WU ne s'est terminé sans erreur, nous l'avons donc retiré de la production et nous allons réessayer. C'est incroyablement frustrant, car cela fonctionne sur notre machine de test, mais sur les machines volontaires, cela échoue avec des erreurs CUDA indiquant des incompatibilités de pilotes dans l'espace utilisateur <->. De toute évidence, nous ne les regroupons pas correctement. De plus, il y a eu des résultats étranges sur l'utilisation du processeur et le client Windows CUDA. Les utilisateurs ont signalé de meilleures performances et une meilleure utilisation s'ils attribuent deux processeurs au WU au lieu d'un, même si un cœur reste inactif tout le temps. Il y a des spéculations dans le fil lié, mais nous devrions également le retrouver bientôt.

Tout cela pour dire que nous sommes vraiment ravis que la prise en charge du GPU soit au moins partiellement active et nous donne une belle amélioration des performances, mais cela a également été plus épuisant que prévu, et nous devons nous recentrer un peu avant de s'attaquer à Linux. / CUDA à nouveau. Si des développeurs Linux / CUDA expérimentés souhaitent offrir de l'aide pour déployer notre combinaison d'applications pytorch / cuda, nous serions ravis que vous nous contactiez et que vous nous aidiez à résoudre les problèmes.

Des nouvelles plus spécifiques ci-dessous, certaines d'entre elles ne sont même pas liées au GPU !

Nouvelles :

• Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci: https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
• Nous avons activé nos systèmes de test ARM qui étaient tombés du réseau pour nous assurer que l'application ARM actuelle continue de fonctionner. Nous sommes en mesure de vérifier que nos trois systèmes de test arm32 / arm64 exécutant Debian 10 fonctionnent bien avec le dernier client, cela inclut un RPi3 (32 bits), un RPi4 (64 bits) et un CuBox-i4 ( 32 bits).
• Les WU de l'ensemble de données 1 + 2 que nous libérons dans la file d'attente du GPU ont une limite d'époque plus grande que ceux de la file d'attente du processeur et ont une augmentation proportionnelle du crédit attribué. Nous pouvons faire un changement similaire dans la file d'attente du processeur, mais cela signifierait des durées d'exécution beaucoup plus longues, donc pour l'instant, nous voyons comment cela se passe dans la file d'attente du GPU et ferons une décision à l'avenir.
• Nous avons passé du temps cette semaine à rechercher comment supprimer l'exigence AppImage (FUSE) sous Linux. C'est certainement possible, mais nous détestons déployer ce changement, même dans la file d'attente de test, car dans l'ensemble, appimage n'a pas causé trop de problèmes et ne veut rien faire d'inutile pour le moment. Nous avons pensé que cela pourrait aider avec les problèmes Linux / CUDA, mais ce n'est plus le cas.
• Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent !
• Nous savons que certaines pages Web sont obsolètes, et nous espérons y remédier cette semaine. Les mises à jour mises en file d'attente comprennent: une mise à jour / refaire complète de la page du jeu de données MLDS et une mise à jour de la section «configuration système requise» de la page principale pour mieux répertorier les exigences logicielles minimales.
• Si nous divisons chacun des trois ensembles de données en 3 versions en fonction du nombre d'exemples de chaque version (100, 1000, 10000), nous sommes prêts à regrouper l'ensemble de données 1 (100, 1000), l'ensemble de données 2 (100), et jeu de données 3 (100).
• Si vous n'êtes pas au courant du podcast réseau BOINC, les développeurs de MLC@Home s'y cachent et y contribuent parfois.
  Assurez-vous de le vérifier si vous êtes intéressé : https://www.boinc.network/ .
• Nous espérons revenir à la préparation de Dataset 4 et rédiger un rapport / article technique pour accompagner les versions de Dataset cette semaine.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
      * Tâches prêtes à envoyer : 48470
      * Tâches en cours : 24464
 - Utilisateurs
      * avec crédit : 1190
      * Enregistré au cours des dernières 24 heures : 47
 - Hôtes
      * avec crédit récent : 2129
      * Enregistré au cours des dernières 24 heures : 25
 - GigaFLOPS actuel 33798.72


Progression des ensembles de données 1 et 2 :

SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine             1005/10005

ParityModified             336/10005
EightBitModified          6803/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression des ensembles de données 3 :

Overall (so far): 64502/84376
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 64502/100000
Milestone 3: 100x10000: 64502/1000000

Notes TWIM de la semaine dernière: 9 novembre 2020

Merci encore à tous nos bénévoles!

- La page d'accueil des administrateurs MLC@Home [/ s] : https://www.mlcathome.org/
Twitter: @MLCHome2

[[AF>Amis des Lapins] Jean-Luc]

OK, merci pour ces nouvelles !
Je vais réessayer avec les GPU d'ici 1 semaine.
On verra bien...

[franky82]

Je l'utilise depuis que c'est dispo, avec ma GTX 1070, et ça va bien plus vite qu'avec CPU !

[JeromeC]

Sur windows, donc ?

[[AF>Libristes] Pascal]

Inévitablement puisqu'il n'y a plus d'appli GNU/Linux, seulement en test.

[franky82]

Sur Windows, oui : version GPU !
(il y a une appli GPU Linux : version test)
https://www.mlcathome.org/mlcathome/apps.php

[modesti]

Euh, pour la "version test" vous parlez pour GPU? Parce que j'en ai fait pas plus tard que ce matin en CPU et c'était pas estampillé "test"

[franky82]

Dans les applis dispos en cours, il ne reste que GPU Linux pour test : https://www.mlcathome.org/mlcathome/apps.php !
Peut-être en avais-tu en stock pour CPU !?

[modesti]

Nan, je les ai récupérées dans la journée et je viens de voir qu'elles sont toujours en cours (96-97% d'avancement). Ce sont des "Machine Learning Dataset Generator 9.61" en CPU sous Linux.

Edith dit que de toute façon elle n'a pas de GPU

[Antares]

Bon ben apparemment, ma gts 450 n'est pas compatible...

[fzs600]

Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.

La nouvelle version est arrivé j'en ai récuperé une vingtaine et apparemment elle ne part pas en erreur. 

   23 Nov 2020, 16:50:18 UTC    23 Nov 2020, 19:32:06 UTC    Terminé et validé    4,216.29    4,198.05    959.40    Machine Learning Dataset Generator (test) v9.80 (cuda10200)
x86_64-pc-linux-gnu

[[AF>Libristes] Pascal]

Merci fzs600, je vais essayer.

[[AF>Libristes] Pascal]

Effectivement, maintenant c'est bon.
Il a fallu télécharger 25 bibliothèques pour que ça fonctionne.

La GTX1060 est loin d'être gavée, elle n'est qu'à 60% avec 2 tâches.