Sujet: MLC@Home

[Antares]

Pourtant il y en a 26000 en attente

[JeromeC]

26000 tâches dispos de l'appli de base mais 17 de l'appli de test, au moment où j'écris.

[franky82]

ça fait plusieurs jours que je crunche du MLC et je n'ai eu aucune UT test ! 

[JeromeC]

Je ne fais pas de MLC en ce moment et je n'avais pas coché "autoriser les applis de test" donc deux bonnes raisons de ne jamais en avoir pour moi

[fzs600]

Est-ce que vous faites tourner les UT 'test' ?
Merci

La réponse ?
https://www.mlcathome.org/mlcathome/forum_thread.php?id=100&postid=657

[franky82]

https://www.mlcathome.org/mlcathome/forum_thread.php?id=102#663

Cette semaine dans MLC@Home
Notes pour le 19 octobre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
Un bref résumé cette semaine, car c'était une semaine calme sur les forums et une semaine chargée en dehors du projet. Hé, parfois la vie arrive. Voir ci-dessous pour les mises à jour de la prise en charge GPU, les mises à jour Paper, l'ensemble de données 4 et la prise en charge OSX.

Nouvelles :
 - Nous avons franchi le premier jalon du jeu de données 3 ! Bravo à tous nos bénévoles ! Les prochaines étapes consistent à le conditionner et à rédiger une brève analyse / article à soumettre à arXiv et à publier l'ensemble de données au public! Les travaux de l'étape 2 (1000x100) sont en cours !
 - Nous avons passé un certain temps la semaine dernière à accéder aux machines Windows et Linux avec CUDA, donc les clients GPU devraient être mis à l'essai cette semaine. Nous rencontrons des problèmes pour l'empaquetage de la version ROCm, mais nous essaierons également de les intégrer aux tests.
 - Nous avons également sécurisé l'accès sur une machine OSX et avons exécuté le client sur OSX! Cependant, l'empaquetage sur OSX fait face à un autre ensemble de défis similaires à ROCM empaquetant les bibliothèques avec
 - La préparation du jeu de données 4 se poursuit. Nous avons les données, nous avons juste besoin de quelques mises à jour du backend pour gérer le nouveau type ou les nouveaux réseaux (classification vs régression).
 - Aucun changement dans le jeu de données 1 + 2 pour le moment, il y a des WU Partiy et EightBit mis à jour en cours de test, mais nous n'avons pas encore traité ces résultats pour nous assurer qu'ils sont prêts pour une sortie complète.


Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)

Tâches
 - Tâches prêtes à envoyer 25261
 - Tâches en cours 21240
Utilisateurs
 - avec crédit 961
 - Enregistré dans les dernières 24 heures 45
Hôtes
 - avec crédit récent 2064
 - Enregistré dans les dernières 24 heures 15
GigaFLOPS actuel 248734.27

Progression des jeux de données 1 et 2

SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              854/10005

ParityModified             243/10005
EightBitModified          6365/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression des jeux de données 3

Globalement (jusqu'à présent): 26430/30112
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 26430/100000
Milestone 3: 100x10000: 26430/1000000

Merci encore à tous nos bénévoles!

- Les administrateurs MLC@Home

[franky82]

J'ai sauté quelques mises à jour de MLC...

https://www.mlcathome.org/mlcathome/forum_thread.php?id=113#758

Cette semaine dans MLC@Home
Notes pour le 2 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Si vous êtes aux États-Unis et que vous n'avez pas encore profité du vote anticipé, veuillez voter demain.

Sommaire :
Semaine (s) GPU, partie 2. Les inconvénients des mises à jour hebdomadaires sont parfois que vous n'avez pas grand-chose à signaler. Malheureusement, la majeure partie de cette semaine a été perdue en essayant de déboguer un étrange crash lié uniquement au client lors de la compilation pour Linux / CUDA. Il s'avère que cela n'a rien à voir avec notre code, c'est une étrange interaction entre la bibliothèque de threads utilisée dans les bibliothèques pré-compilées pytorch et la bibliothèque BOINC. Il nous a fallu plusieurs jours pour réaliser que ce n'était pas notre code qui causait le problème, il en faudra maintenant quelques autres pour trouver une solution, ce qui nécessitera probablement un pytorch compilé sur mesure, ce qui prendra quelques jours de plus pour déboguer .

Les accélérations du GPU en valent la peine, mais veuillez rester avec nous pendant que nous résolvons ces problèmes dans la file d'attente des tests, et continuez à vous déplacer dans la file d'attente de recherche principale!

Nouvelles :
Nous nous attendons à la plupart des questions de CUDA aplanies et les ont en usage général (non-bêta) par la dernière semaine prochaine. Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent!
Nous reviendrons sur les estimations WU FLOPS pour tout nouveau problème de WU à partir de cette semaine, cela devrait résoudre les problèmes de surestimation avec le temps.
J'ai passé un peu de temps à travailler sur DS4 et le papier DS3, mais le débogage GPU a à nouveau pris la majorité du temps libre.


Instantané de l'état du projet :
(note ces chiffres sont approximatifs)

Tâches
- Tâches prêts à envoyer 41034
 - Tâches en cours 9231
utilisateurs
- Avec crédit : 1080
 - enregistrés au cours des dernières 24 heures : 39
hôtes
- Avec crédit récent : 2106
 - enregistré au cours des dernières 24 heures : 24
GigaFLOPS actuels : 29333,56

Dataset 1 et 2 progrès :

SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              912/10005

ParityModified             289/10005
EightBitModified          6597/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression de l'ensemble de données 3 :

Overall (so far): 44466/50557
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 44466/100000
Milestone 3: 100x10000: 44466/1000000

Notes TWIM de la semaine dernière: 27 octobre 2020

Merci encore à tous nos bénévoles!

- Les administrateurs MLC@Home

[[AF>Amis des Lapins] Jean-Luc]

Mon taux d'erreur sur MLC est un taux record !
Je dois laisser tomber ce projet.
3 valides pour des dizaines d'erreurs...

 

[Maurice Goulois]

Pour moi, c'est 237 valides pour 28 erreurs: c'est beaucoup mais acceptable

[[AF>Libristes] Dudumomo]

7458 valides et 3437 erreurs...quand meme.......

[fzs600]

État: Tous (13910) · En cours (271) · Validation en attente (98) · Validation non concluante (2) · Valide (12600) · Invalide (102) · Erreur (835)

Et beaucoup de ces erreurs viennent du fait que je n'avais pas encore installé : Microsoft Visual C++ Redistributable for Visual Studio 2015 sur Windows.

[Maurice Goulois]

État: Tous (13910) · En cours (271) · Validation en attente (98) · Validation non concluante (2) · Valide (12600) · Invalide (102) · Erreur (835)

Et beaucoup de ces erreurs viennent du fait que je n'avais pas encore installé : Microsoft Visual C++ Redistributable for Visual Studio 2015 sur Windows.

Je ne me rappelle pas précisément, mais ça peut être la même chose pour moi

[[AF>Amis des Lapins] Jean-Luc]

Et sous Linux, vous savez s'il y a une manip spéciale à faire pour diminuer le nombre d'erreurs ?

[Maurice Goulois]

J'ai fait le tour des tâches en erreur, il n'y en a que sur les linux (Maurice n'est pas bien réveillé après son anniv solo hier soir) 

Mais tous les autres participants sont en erreur aussi.

J'avais même pas regardé le détail des erreurs

Code: [Sélectionner]

<core_client_version>7.16.6</core_client_version>
<![CDATA[
<message>
process got signal 6</message>
<stderr_txt>
terminate called after throwing an instance of 'c10::Error'
  what():  CUDA error: forward compatibility was attempted on non supported HW
Exception raised from current_device at ../c10/cuda/CUDAFunctions.h:40 (most recent call first):
frame #0: c10::Error::Error(c10::SourceLocation, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >) + 0x69 (0x7f354b5b8eb9 in /tmp/.mount_mldsteimsrO9/usr/bin/../lib/libc10.so)
frame #1: at::cuda::getCurrentDeviceProperties() + 0x175 (0x7f34fec45355 in /tmp/.mount_mldsteimsrO9/usr/bin/../lib/libtorch_cuda.so)
frame #2: <unknown function> + 0x8ec5c (0x55de951dfc5c in ../../projects/www.mlcathome.org_mlcathome/mldstest_9.71_x86_64-pc-linux-gnu__cuda_fermi)
frame #3: __libc_start_main + 0xf3 (0x7f34fb0080b3 in /lib/x86_64-linux-gnu/libc.so.6)
frame #4: <unknown function> + 0x8d57a (0x55de951de57a in ../../projects/www.mlcathome.org_mlcathome/mldstest_9.71_x86_64-pc-linux-gnu__cuda_fermi)


</stderr_txt>
]]>Ils font des tests sur une appli GPU depuis quelque temps, mais une majorité des erreurs sont sur la machine windows qui n'avait pas encore le bon  Microsoft Visual C++ Redistributable for Visual Studio.

[fzs600]

Et sous Linux, vous savez s'il y a une manip spéciale à faire pour diminuer le nombre d'erreurs ?

Donc sous ubuntu.

GenuineIntel
Intel(R) Core(TM) i7 CPU 870 @ 2.93GHz [Family 6 Model 30 Stepping 5]
(8 processeurs)

j'ai ceci.

État: Tous (2525) · En cours (48) · Validation en attente (16) · Validation non concluante (0) · Valide (2048) · Invalide (20) · Erreur (393)

Et sous ubuntu.

AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor [Family 21 Model 2 Stepping 0]
(8 processeurs)

J'ai ceci.

État: Tous (4458) · En cours (99) · Validation en attente (33) · Validation non concluante (1) · Valide (4255) · Invalide (13) · Erreur (57)

Donc sur ces 2 PC les dernières erreurs date du mois d'octobre et encore sur 1 des PC ce sont des annulation par le serveur et donc pas vraiment des erreurs.

 

[Antares]

J'en ai que deux "annulées par le serveur"

[[AF>Amis des Lapins] Jean-Luc]

OK, vu.
Merci à vous.
Je vais laisser tomber ce projet pour le moment !

[franky82]

Hop, j'ai récupéré quelques UT test GPU (nVidia CUDA) ! 
(elles sont rares et dispos par courtes séries : https://www.mlcathome.org/mlcathome/server_status.php )

[fzs600]

Hop, j'ai récupéré quelques UT test GPU (nVidia CUDA) ! 
(elles sont rares et dispos par courtes séries : https://www.mlcathome.org/mlcathome/server_status.php )

Merci pour l'info. 

Je viens de voir j'en ai récupéré 44.
Sur Windows ça donne ceci.

   9 Nov 2020, 2:52:10 UTC    9 Nov 2020, 10:35:05 UTC    Terminé et validé    3,071.87    2,985.91    959.40    Machine Learning Dataset Generator (test) v9.70 (cuda10200)
windows_x86_64

Par contre sur Ubuntu tout part en erreur. 

   9 Nov 2020, 15:18:14 UTC    9 Nov 2020, 15:59:26 UTC    Erreur lors des calculs    2.08    0.00    ---    Machine Learning Dataset Generator (test) v9.75 (cuda10200)
x86_64-pc-linux-gnu

[franky82]

Moi, uniquement sous Windows (je n'ai pas de GPU sous Linux), aucune erreur,
et temps légèrement plus court avec ma GTX 1070 (mais même crédit attribué par UT) !

[fzs600]

Moi, uniquement sous Windows (je n'ai pas de GPU sous Linux), aucune erreur,
et temps légèrement plus court avec ma GTX 1070 (mais même crédit attribué par UT) !

Sous ubuntu l'admin laisse courir pour le moment si j'ai bien compris.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=111&postid=774

[Maurice Goulois]

Il va distribuer les uts aux machines qui remplissent les conditions. J'espère que ma gtx-970 sera ok, sur le papier elle remplit les conditions.

Mais c'est elle qui a eu ces erreurs  à suivre

Ma gtx-960 sous Windows est en train de calculer une ut

Code: [Sélectionner]

MLC@Home 9.75 Machine Learning Dataset Generator (test) (cuda10200)
Durée annoncée environ 2h 

Temps 8,824.63 environ 2h et 1/2.

[zelandonii]

J'en ai téléchargé un paquet ce matin qui sont encore en cours de traitement.

[Maurice Goulois]

Il y en avait 1330, j'en ai chopé 2, bande de goinfres 

[franky82]

J'ai eu du mal a en avoir, au début, mais maintenant, j'ai un petit stock de 6 à 8 UT !