Auteur Sujet: MLC@Home  (Lu 2322 fois)

0 Membres et 1 Invité sur ce sujet

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #75 le: 10 novembre 2020 à 14:00 »
https://www.mlcathome.org/mlcathome/forum_thread.php?id=118#792
Citer
Cette semaine dans MLC@Home
Notes pour le 9 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
de la (des) semaine(s) GPU, partie 3. Nous avons pris du temps la semaine dernière pour nous concentrer sur des choses autres qu'universitaires, mais quand même nous avons réussi à sortir un client Linux / CUDA mis à jour qui fonctionne maintenant sur au moins certains systèmes. Tenter de créer une seule application qui s'exécute sur plusieurs versions de système d'exploitation, de pilotes et de CUDA s'avère difficile. C'est également un cas étrange où l'application Linux se révèle plus difficile que celle de Windows ... 2020 est une chronologie vraiment étrange.

Nouvelles :
Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci : https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
Nous avons mis en place un AppPlan BOINC pour filtrer les clients qui peuvent recevoir le client CUDA qui fonctionneront. Vous aurez besoin du pilote CUDA version 440 ou supérieure, de Windows 10 ou Linux avec GLIBC 2.27 ou supérieur et d'une carte nvidia avec une capacité de calcul 3.5 ou supérieure.
Nous nous attendons à aplanir la plupart des questions de CUDA en usage général (non-bêta) pour la semaine prochaine.
Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de cruncher. GRAND progrès jusqu'à présent !
Le débogage du GPU continue de prendre trop de temps, nous sommes impatients de les publier afin de pouvoir nous concentrer sur la science.

Instantané de l' état du projet :
(note ces chiffres sont approximatifs)
     * Tâches
         - Tâches prêts à envoyer : 16536
         - Tâches en cours : 22529
     * utilisateurs
         - Avec crédit : 1134
         - enregistrés au cours des dernières 24 heures : 35
     * hôtes
         - Avec crédit récent : 2097
         - enregistré au cours des dernières 24 heures : 24
     GigaFLOPS actuelles : 26267,99


Progression des ensemble de données 1 et 2 :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              949/10005

ParityModified             308/10005
EightBitModified          6713/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression de l'ensemble de données 3 :
Citer
Overall (so far): 49317/53359
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 49317/100000
Milestone 3: 100x10000: 49317/1000000

Notes TWIM de la semaine dernière : 2 novembre 2020

Merci encore à tous nos bénévoles !

- Les administrateurs MLC@Home [/ s]

Mon site : Photo de bière
 

JeromeC

  • CàA
  • Messages: 25529
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #76 le: 10 novembre 2020 à 21:08 »
Cool ce projet avec un admin qui communique et une équipe qui bosse :)
Parce que c'était lui, parce que c'était moi.

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #77 le: 11 novembre 2020 à 12:09 »
Après une version test (qui reste en cours), une application GPU séparée est apparue
https://www.mlcathome.org/mlcathome/apps.php
https://www.mlcathome.org/mlcathome/server_status.php
(ça fera une application de plus pour WuProp)
Mon site : Photo de bière
 

zelandonii

  • Messages: 4901
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #78 le: 12 novembre 2020 à 09:54 »
J'ai une bonne moitié des UT qui partent direct en erreurs.




"Le monde est trop dangereux pour qu'on y vive, non pas à cause des gens qui font le mal, mais à cause de ceux qui les laissent faire sans réagir."  Albert Einstein.

Maurice Goulois

  • Messages: 3868
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Le forum des Electrons Libres de l'AF
Re : MLC@Home
« Réponse #79 le: 12 novembre 2020 à 15:06 »
Pour le moment, je n'ai que des erreurs sur la gtx-970 qui est sous ubuntu 20.04: j'espère qu'il arriveront à stabiliser l'appli pour linux; pour Windows pas d'erreurs avec la GPU.

cougarpelardou

  • Messages: 1033
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #80 le: 12 novembre 2020 à 16:13 »
Je m'inscris et teste le GPU Le Maryland, l'état de ce projet a voté à 65% pour Biden et 33% pour le clown orange    :warf:

Ceci étant Fort Meade la base de la NSA est aussi dans le Maryland. J'espère que ce projet  n'est pas un honeypot Je fais confiance à Franky   :p600:

1 tache GPU Cuda soldée Win 10 Nvidia GTX 1660  0,6 point par seconde  :hyperbon:

Je continue

Un projet est pris en compte pour le FB à partir de combien de credits  ?
« Modifié: 12 novembre 2020 à 17:21 par cougarpelardou »

[AF>Libristes] Pascal

  • CàA
  • Messages: 2195
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #81 le: 12 novembre 2020 à 16:45 »
 :kookoo:
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.

PC ; GNU/Linux ubuntu-mate 20.04 LTS (focal) - AMD FX8350 x8 - 32Go DDR3 - GTX 1060 et GTX 1080 Ti
Raspberry Pi : RaspBian (dérivé de Debian Wheezy) - ARMv6 - carte flash SD 8Go

[AF>Amis des Lapins] Jean-Luc

  • Messages: 2572
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #82 le: 12 novembre 2020 à 18:46 »
Oui, moi aussi, toutes les WUs pour GPU partent en erreur au bout de quelques secondes !


Rédacteur d'un article sur BOINC, adresse :
http://www.astrocaw.eu/?p=605
Créateur d'un site actif de recherche sur les suites aliquotes :
http://www.aliquotes.com/

[AF>Libristes] Pascal

  • CàA
  • Messages: 2195
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #83 le: 12 novembre 2020 à 20:33 »
Il n'y a aucun résultat pour l'application Machine Learning Dataset Generator (GPU) GNU/Linux alors qu'en version (test) ça a l'air bon.
https://www.mlcathome.org/mlcathome/apps.php

PC ; GNU/Linux ubuntu-mate 20.04 LTS (focal) - AMD FX8350 x8 - 32Go DDR3 - GTX 1060 et GTX 1080 Ti
Raspberry Pi : RaspBian (dérivé de Debian Wheezy) - ARMv6 - carte flash SD 8Go

cougarpelardou

  • Messages: 1033
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #84 le: 12 novembre 2020 à 20:54 »
Sur windows cela a l'air de marcher J'ai déjà 5 UT valides 2 en validation et 0 erreur.

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #85 le: 12 novembre 2020 à 21:15 »
Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !
Mon site : Photo de bière
 

Arkhenia

  • Messages: 20
  • P'tit Nouveau
  • *
  •   
Re : Re : MLC@Home
« Réponse #86 le: 12 novembre 2020 à 21:20 »
Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !

Idem de mon côté avec une GTX 1660, toutes les tâches faites sont Ok (ou en pending)

 :hello:

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #87 le: 18 novembre 2020 à 11:22 »
https://www.mlcathome.org/mlcathome/forum_thread.php?id=124#854
Citer
Cette semaine dans MLC@Home
Notes pour le 17 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC @ Home


Résumé
semaine(s) GPU, partie 4: La saga continue.

Cette semaine, nous commençons à revenir à l'écriture et à l'analyse des données existantes. Il y a encore beaucoup à discuter concernant les GPU, mais nousdevons également prendre le temps d'écrire un peu; et franchement, les problèmes avec le client Linux / CUDA nous ont déconcertés pour le moment, donc prendre une semaine ou deux pour se concentrer sur une partie de la science qui s'accumule devrait nous aider à nous éclaircir la tête et à y revenir avec une nouvelle perspective.

La semaine dernière, nous avons activé la piste de publication (application "mlds-gpu") du client GPU pour Windows et Linux, et la bonne nouvelle est qu'au moins le client Windows fonctionne plutôt bien *, et sa mastication à travers les WU à merveille, complétant le crunch du processeur qui continue sans relâche. Avoir une application séparée nous permet de capturer les exigences de RAM extrêmement différentes pour les WU CUDA sans pénaliser les crunchers du processeur. La ligne GPU nous permet d'envoyer un ensemble de données plus long 1 + 2 WU, ce qui a conduit à une belle augmentation du nombre de Parity * WU complets, ce qui signifie que nous avons enfin plus de 1000 exemples de chaque type de réseau pour Dataset1, et sur notre chemin vers cela dans le jeu de données 2. Ce serait bien de résumer ces deux choses le plus tôt possible. Nous continuerons à publier des WU en parallèle avec les files d'attente CPU et GPU pour nourrir les deux utilisateurs.

Cependant, tout ne va pas bien au pays des GPU. Nous avons publié le client Linux / CUDA, mais après plusieurs jours, pas un seul WU ne s'est terminé sans erreur, nous l'avons donc retiré de la production et nous allons réessayer. C'est incroyablement frustrant, car cela fonctionne sur notre machine de test, mais sur les machines volontaires, cela échoue avec des erreurs CUDA indiquant des incompatibilités de pilotes dans l'espace utilisateur <->. De toute évidence, nous ne les regroupons pas correctement. De plus, il y a eu des résultats étranges sur l'utilisation du processeur et le client Windows CUDA. Les utilisateurs ont signalé de meilleures performances et une meilleure utilisation s'ils attribuent deux processeurs au WU au lieu d'un, même si un cœur reste inactif tout le temps. Il y a des spéculations dans le fil lié, mais nous devrions également le retrouver bientôt.

Tout cela pour dire que nous sommes vraiment ravis que la prise en charge du GPU soit au moins partiellement active et nous donne une belle amélioration des performances, mais cela a également été plus épuisant que prévu, et nous devons nous recentrer un peu avant de s'attaquer à Linux. / CUDA à nouveau. Si des développeurs Linux / CUDA expérimentés souhaitent offrir de l'aide pour déployer notre combinaison d'applications pytorch / cuda, nous serions ravis que vous nous contactiez et que vous nous aidiez à résoudre les problèmes.

Des nouvelles plus spécifiques ci-dessous, certaines d'entre elles ne sont même pas liées au GPU !

Nouvelles :

  • Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci: https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
  • Nous avons activé nos systèmes de test ARM qui étaient tombés du réseau pour nous assurer que l'application ARM actuelle continue de fonctionner. Nous sommes en mesure de vérifier que nos trois systèmes de test arm32 / arm64 exécutant Debian 10 fonctionnent bien avec le dernier client, cela inclut un RPi3 (32 bits), un RPi4 (64 bits) et un CuBox-i4 ( 32 bits).
  • Les WU de l'ensemble de données 1 + 2 que nous libérons dans la file d'attente du GPU ont une limite d'époque plus grande que ceux de la file d'attente du processeur et ont une augmentation proportionnelle du crédit attribué. Nous pouvons faire un changement similaire dans la file d'attente du processeur, mais cela signifierait des durées d'exécution beaucoup plus longues, donc pour l'instant, nous voyons comment cela se passe dans la file d'attente du GPU et ferons une décision à l'avenir.
  • Nous avons passé du temps cette semaine à rechercher comment supprimer l'exigence AppImage (FUSE) sous Linux. C'est certainement possible, mais nous détestons déployer ce changement, même dans la file d'attente de test, car dans l'ensemble, appimage n'a pas causé trop de problèmes et ne veut rien faire d'inutile pour le moment. Nous avons pensé que cela pourrait aider avec les problèmes Linux / CUDA, mais ce n'est plus le cas.
  • Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent !
  • Nous savons que certaines pages Web sont obsolètes, et nous espérons y remédier cette semaine. Les mises à jour mises en file d'attente comprennent: une mise à jour / refaire complète de la page du jeu de données MLDS et une mise à jour de la section «configuration système requise» de la page principale pour mieux répertorier les exigences logicielles minimales.
  • Si nous divisons chacun des trois ensembles de données en 3 versions en fonction du nombre d'exemples de chaque version (100, 1000, 10000), nous sommes prêts à regrouper l'ensemble de données 1 (100, 1000), l'ensemble de données 2 (100), et jeu de données 3 (100).
  • Si vous n'êtes pas au courant du podcast réseau BOINC, les développeurs de MLC@Home s'y cachent et y contribuent parfois.
    Assurez-vous de le vérifier si vous êtes intéressé : https://www.boinc.network/ .
  • Nous espérons revenir à la préparation de Dataset 4 et rédiger un rapport / article technique pour accompagner les versions de Dataset cette semaine.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
      * Tâches prêtes à envoyer : 48470
      * Tâches en cours : 24464
 - Utilisateurs
      * avec crédit : 1190
      * Enregistré au cours des dernières 24 heures : 47
 - Hôtes
      * avec crédit récent : 2129
      * Enregistré au cours des dernières 24 heures : 25
 - GigaFLOPS actuel 33798.72


Progression des ensembles de données 1 et 2 :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine             1005/10005

ParityModified             336/10005
EightBitModified          6803/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression des ensembles de données 3 :
Citer
Overall (so far): 64502/84376
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 64502/100000
Milestone 3: 100x10000: 64502/1000000

Notes TWIM de la semaine dernière: 9 novembre 2020

Merci encore à tous nos bénévoles!

- La page d'accueil des administrateurs MLC@Home [/ s] : https://www.mlcathome.org/
Twitter: @MLCHome2

Mon site : Photo de bière
 

[AF>Amis des Lapins] Jean-Luc

  • Messages: 2572
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #88 le: 18 novembre 2020 à 12:20 »
OK, merci pour ces nouvelles !
Je vais réessayer avec les GPU d'ici 1 semaine.
On verra bien...


Rédacteur d'un article sur BOINC, adresse :
http://www.astrocaw.eu/?p=605
Créateur d'un site actif de recherche sur les suites aliquotes :
http://www.aliquotes.com/

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #89 le: 18 novembre 2020 à 12:40 »
Je l'utilise depuis que c'est dispo, avec ma GTX 1070, et ça va bien plus vite qu'avec CPU !
Mon site : Photo de bière
 

JeromeC

  • CàA
  • Messages: 25529
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #90 le: 18 novembre 2020 à 16:12 »
Sur windows, donc ?
Parce que c'était lui, parce que c'était moi.

[AF>Libristes] Pascal

  • CàA
  • Messages: 2195
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #91 le: 18 novembre 2020 à 16:27 »
Inévitablement puisqu'il n'y a plus d'appli GNU/Linux, seulement en test.

PC ; GNU/Linux ubuntu-mate 20.04 LTS (focal) - AMD FX8350 x8 - 32Go DDR3 - GTX 1060 et GTX 1080 Ti
Raspberry Pi : RaspBian (dérivé de Debian Wheezy) - ARMv6 - carte flash SD 8Go

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #92 le: 18 novembre 2020 à 16:57 »
Sur Windows, oui : version GPU !
(il y a une appli GPU Linux : version test)
https://www.mlcathome.org/mlcathome/apps.php
Mon site : Photo de bière
 

modesti

  • CàA
  • Messages: 17069
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : MLC@Home
« Réponse #93 le: 18 novembre 2020 à 17:49 »
Euh, pour la "version test" vous parlez pour GPU? Parce que j'en ai fait pas plus tard que ce matin en CPU et c'était pas estampillé "test" :desole:

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

franky82

  • DROITS - Journalistes
  • Messages: 1430
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : MLC@Home
« Réponse #94 le: 18 novembre 2020 à 17:58 »
Dans les applis dispos en cours, il ne reste que GPU Linux pour test : https://www.mlcathome.org/mlcathome/apps.php !
Peut-être en avais-tu en stock pour CPU !?
Mon site : Photo de bière
 

modesti

  • CàA
  • Messages: 17069
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : MLC@Home
« Réponse #95 le: 18 novembre 2020 à 18:01 »
Nan, je les ai récupérées dans la journée et je viens de voir qu'elles sont toujours en cours (96-97% d'avancement). Ce sont des "Machine Learning Dataset Generator 9.61" en CPU sous Linux.

Edith dit que de toute façon elle n'a pas de GPU :D

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

Antares

  • Intel Pentium G3420 à 3.2 go + Nvidia GeForce GTS450 Win 10 Pro 64bits
  • Méchant modo
  • Messages: 6389
  • Boinc'eur devant l'éternel
  • ******
  •   
Re : MLC@Home
« Réponse #96 le: 21 novembre 2020 à 18:44 »
Bon ben apparemment, ma gts 450 n'est pas compatible... :gno:
Quand le dernier arbre sera abattu, la dernière rivière empoisonnée, le dernier poisson capturé, alors le visage pâle réalisera que l'argent ne se mange pas.

Sitting Bull


fzs600

  • Méchant modo
  • Messages: 6614
  • Boinc'eur devant l'éternel
  • ******
  •   
Re : Re : MLC@Home
« Réponse #97 le: 23 novembre 2020 à 20:49 »
:kookoo:
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.
La nouvelle version est arrivé j'en ai récuperé une vingtaine et apparemment elle ne part pas en erreur.  :hello:
Citer
   23 Nov 2020, 16:50:18 UTC    23 Nov 2020, 19:32:06 UTC    Terminé et validé    4,216.29    4,198.05    959.40    Machine Learning Dataset Generator (test) v9.80 (cuda10200)
x86_64-pc-linux-gnu

Utilisateur GNU-LINUX. fzs600@hub.g3l.org

[AF>Libristes] Pascal

  • CàA
  • Messages: 2195
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #98 le: 23 novembre 2020 à 23:01 »
Merci fzs600, je vais essayer. :jap:

PC ; GNU/Linux ubuntu-mate 20.04 LTS (focal) - AMD FX8350 x8 - 32Go DDR3 - GTX 1060 et GTX 1080 Ti
Raspberry Pi : RaspBian (dérivé de Debian Wheezy) - ARMv6 - carte flash SD 8Go

[AF>Libristes] Pascal

  • CàA
  • Messages: 2195
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : MLC@Home
« Réponse #99 le: 23 novembre 2020 à 23:49 »
Effectivement, maintenant c'est bon.
Il a fallu télécharger 25 bibliothèques pour que ça fonctionne. :priz2tet:

La GTX1060 est loin d'être gavée, elle n'est qu'à 60% avec 2 tâches. :/

PC ; GNU/Linux ubuntu-mate 20.04 LTS (focal) - AMD FX8350 x8 - 32Go DDR3 - GTX 1060 et GTX 1080 Ti
Raspberry Pi : RaspBian (dérivé de Debian Wheezy) - ARMv6 - carte flash SD 8Go