Sujet: MLC@Home

[JeromeC]

Oui, le risque de burnout est réel 

[TheStressMan]

Bonjour,

Quelle est la fréquence de mise à jour des badges ?

 

[naz]

1 fois par jour comme pour tout les autres 

[TheStressMan]

Ok.
Je viens d'avoir mon 1er MLC.
 

[franky82]

Suite à 10 jours sans mon ordi principal, je suis en retard sur les mises-à-jour de MLC.

https://www.mlcathome.org/mlcathome/forum_thread.php?id=158

Cette semaine dans MLC@Home
Notes pour le 18 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
Après une semaine de pause, nous sommes de retour avec notre mise à jour hebdomadaire régulière. Beaucoup de temps passé à écrire, surtout ces derniers jours (long week-end aux États-Unis). Au niveau des projets, nous avons fait de réels progrès dans le nettoyage du processus de validation et d'assimilation en préparation de DS4.

Nouvelles détaillées
 - L'écriture est la priorité absolue. Il serait préférable d'avoir 1000 exemples chacun pour les exemples DS1 / DS2, et nous en avons besoin d'environ 160 de plus pour ParityModified. Nous sommes proches cependant, et nous en serons peut-être plus de 1000 d'ici la semaine prochaine.
 - La file d'attente modstest exécute déjà un processus de validation amélioré. Jusqu'à présent, cela se passe bien et se déploiera également dans les autres files d'attente. Il n'y a pas de changements visibles par l'utilisateur, mais de nombreux changements internes pour faciliter la maintenance et les tests.
 - Peu de progrès sur le support client pour DS4, il reste partiellement implémenté mais pas encore prêt pour les tests. Mais les ensembles de données pour DS4 ont été générés il y a des semaines, avec la priorité d'écriture dernièrement par rapport à DS4.
 - Nous avons envisagé de mettre à jour le client ROCm pour activer la prise en charge de POLARIS et passer à ROCm 4.0 (et éventuellement une prise en charge de NAVI), mais PyTorch ne prend pas encore en charge la version 4.0, et nous avons encore besoin d'un peu plus de temps pour passer à ROCm 3.10 pour activer la prise en charge de POLARIS .

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 5 janvier 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

https://www.mlcathome.org/mlcathome/forum_thread.php?id=164

Cette semaine dans MLC@Home
Notes pour le 26 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
La semaine dernière a été consacrée à la rédaction et à la préparation des ensembles de données pour la publication, donc seulement une brève mise à jour cette semaine avec les dernières statistiques.

Nouvelles détaillées
 - Aucun cette semaine.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 18 janvier 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

[franky82]

https://www.mlcathome.org/mlcathome/forum_thread.php?id=171

Cette semaine dans MLC@Home
Notes pour le 8 février 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
C'est la semaine du jeu de données !

Nous avons travaillé dans les coulisses sur un papier pour l'analyse des résultats que vous, nos bénévoles, avez créés jusqu'à présent. L'article est toujours en cours, mais nous avons attendu assez longtemps pour publier les ensembles de données eux-mêmes. Au cours des prochains jours, vous verrez de plus en plus d'ensembles de données disponibles au téléchargement sur https://www.mlcathome.org/mlds.html .

Chaque archive d'ensemble de données contient un fichier README.md avec des détails sur ce qui est inclus et des informations sur la façon de l'utiliser. Chaque réseau formé se trouve dans son propre répertoire, avec à la fois la version PyTorch native du modèle enregistré, un fichier JSON contenant les poids appris et des métadonnées sur chaque réseau formé, y compris un historique de formation.

Les ensembles de données actuellement disponibles sont:

 - MLDS-DS1: 100 / ea, 500 / ea, 1000 / ea. (5000 / ea et 10000 / ea en cours de calcul)
 - MLDS-DS2: 100 / ea, 500 / ea, 1000 / ea. (5000 / ea et 10000 / ea toujours en cours de calcul)
 - MLDS-DS3: 100 / ea (500 / ea et 1000 / ea zipping / uploading, 5000 / ea et 10000 / ea toujours en calcul)

Ces derniers ensembles de données sont si volumineux qu'ils seraient meilleurs sous forme de torrents, nous pouvons donc les rendre disponibles uniquement sous forme de torrents. Pour les chercheurs, si vous utilisez ces ensembles de données, je vous demande a) de nous le faire savoir et b) de citer notre article lorsqu'il sera disponible.

Nouvelles détaillées
 - Beaucoup de bon travail sur un papier ; Restez à l'écoute du compte Twitter pour quelques graphiques et tableaux au cours de la semaine prochaine.
 - La création de l'archive du jeu de données prend beaucoup de temps, en raison du grand nombre de fichiers, et la compression xz n'est pas exactement rapide. Ainsi, DS3-500 et DS3-1000 peuvent prendre un peu de temps pour être compressés / téléchargés.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 1er février 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

[JeromeC]

Merci encore à tous nos bénévoles !

Et merci encore au journaliste

[franky82]

https://www.mlcathome.org/mlcathome/forum_thread.php?id=179

Cette semaine dans MLC@Home
Notes pour le 23 février 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
Une petite mise à jour cette semaine car il n'y a pas beaucoup de nouvelles dans l'ensemble. Honnêtement, votre serviteur a été un peu débordé par d'autres choses dans la vie et a dû s'occuper de certaines autres choses la semaine dernière. Donc, nous sommes de retour cette semaine, et à part une file d'attente de processeur inopinément vide pendant environ une demi-journée la semaine dernière (corrigée depuis), le projet s'est poursuivi et vous, les volontaires, avez découpé un autre gros morceau de jeux de données 1, 2 et 3.

Le document avance bien, et nous sommes enfin satisfaits des données et de l'analyse que nous souhaitons à ce stade, il ne s'agit donc que d'écrire. Certains tableaux et graphiques ont été publiés sur Twitter si vous souhaitez suivre. Honnêtement, nous sommes en retard d'environ 3 mois pour le publier au moins sur arXiv, mais nous espérons que cela en vaudra la peine. La majeure partie de ce temps a été consacrée à peaufiner les algorithmes pour obtenir de meilleurs résultats, et les ensembles de données / vecteurs de caractéristiques sont trop grands pour un GPU de 8 Go, il s'agit donc principalement de formation du processeur. 18 heures pour une époque, ce n'est pas rare. Du bon côté, ce que nous apprenons en faisant cela aidera DS4 lorsqu'il sera disponible.

Les DS3-500 et DS3-1000 sont complets et prêts à être téléchargés, mais nous décidons toujours du meilleur endroit pour héberger des fichiers aussi volumineux. L'amorçage d'un torrent sur le serveur principal réduirait la bande passante déjà limitée. Nous aurons besoin d'une meilleure solution, pour l'instant, elles existent sur un lecteur de données sauvegardé et disponibles sur demande individuelle.

Autres nouvelles
 - DS4 reste en attente jusqu'à ce que le papier soit terminé.
 - Nous discutons en interne d'autoriser Gridcoin à ajouter ce projet à la liste blanche. Si la communauté MLC a des opinions bien arrêtées, veuillez les publier ci-dessous. Il y a encore une ou deux choses que nous voulons changer avant cela de toute façon, mais la liste des obstacles techniques de notre côté est presque vide.
- Rappel: le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur de données scientifiques et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête de modification.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 8 février 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

[JeromeC]

Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...

[cougarpelardou]

quasiment tous les projets sont whitelist de LHC à Amicable en passant par Yoyo    ...

[Jeannot Le Tazon]

Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...

quels sont les points négatifs et positifs de cette ouverture à Gridcoin ?

[JeromeC]

Bah c'est juste que j'aime pas GC et son concept, pas plus que les crypto-monnaies d'ailleurs après y'a ptet des gens très bien qui y participent

[[AF>Amis des Lapins] Jean-Luc]

Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...

quels sont les points négatifs et positifs de cette ouverture à Gridcoin ?

Je pense que dès qu'il y a possibilité de gagner du fric, il commence à y avoir de la tricherie !
Je me rappelle de Collatz qui a failli capoter car des tricheurs avaient crée de fausses WUs pour être faussement rémunérées, si je me rappelle bien, ou quelque chose de ce genre.
L'administrateur avait été très courageux de tout "réparer" pour relancer le projet.

[JeromeC]

Oui je pense même que ça n'a pas été le seul exemple. Mais j'ai tendance à oublier les détails des choses désagréables...

[franky82]

https://www.mlcathome.org/mlcathome/forum_thread.php?id=182

Cette semaine dans MLC@Home
Notes pour le 9 mars 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
Le document en cours de rédaction est en cours de révision / révision en interne. Cela prendra un tour ou deux avant de publier sur arXiv et de rechercher une conférence à soumettre. Il y a eu des résultats déroutants avec l'une des machines DS2 qui peuvent nous obliger à recalculer certains de ces WU avec des données d'entraînement mises à jour, mais ceux-ci étaient rapides à calculer et nos volontaires ne tarderont pas à les refaire si nécessaire.

Cela signifie que nous avons commencé à examiner les mises à jour des clients et DS4! Nous avons commencé ce week-end sur le client v9.90, pour lequel nous ciblons les fonctionnalités suivantes :
 - Mettre à niveau vers PyTorch v1.8
 - Prise en charge de DS4! .. Nos premiers réseaux CNN.
 - Mise à niveau ROCm vers 4.0 / 4.0.1 (prise en charge de Polaris)
 - Réexaminer les performances / l'utilisation du GPU
 - Liaison statique pour au moins le client CPU (peut-être GPU aussi). Cela n'est peut-être pas possible, mais ce serait un avantage appréciable de passer à PyTorch v1.8

La grande caractéristique de conduite est la prise en charge du modèle DS4. Les données sont prêtes à être analysées, mais le modèle doit être inclus dans le client et testé.

Autres nouvelles
 - Si vous souhaitez demander l'un des plus grands ensembles de données, pour le moment, veuillez nous contacter en privé et nous vous fournirons un lien de téléchargement. C'est la meilleure position de compromis jusqu'à ce que nous ayons une meilleure option.
 - Nous apprécions les commentaires sur Gridcoin de notre dernière mise à jour. Nous continuons à surmonter les obstacles techniques de notre côté que nous considérons comme une exigence pour le gridcoin, mais cela contribuera également à la robustesse du projet dans son ensemble.
 - Nous recherchons des exemples intéressants de problèmes qui peuvent être résolus avec des réseaux à anticipation petits à moyens pour un DS5 potentiel. Nous pourrions faire MNIST, mais peut-être que quelque chose d'un peu plus intéressant serait plus amusant. Il est très évident que le premier commentaire que nous aurons sur le papier est "pourquoi avez-vous utilisé des RNN?", Nous aimerions donc éviter cela tôt.
 - Rappel: le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur de data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une pull request.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 23 février 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

[modesti]

J'avoue que je n'ai pas le temps de lire les CR hebdomadaires du projet (c'est sûrement un tort, et le tort tue - lentement, mais je ne suis pas pressée ), j'ai juste une question: est-il prévu de mettre en place des points de sauvegarde?

Parce qu'avec mes soucis électriques j'ai recommencé à éteindre l'ordinateur le soir avant d'aller au lit et là j'ai plusieurs MLC en cours: entre 4h46 (56%) et 12h55 (89.4%), avec une majorité autour de 9h20 pour +-80% d'avancement...

[JeromeC]

Ben faut faire une hibernation au lieu d'un arrêt non ? la version longue (avec sauvegarde de toute la RAM sur le disque) pas la version courte et rapide (nécessitant une alimentation constante), y'a moyen de faire ça dans windowz non ?

[modesti]

1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève

[Maeda]

Ça existe aussi sur Linux et surtout ça pompe moins de courant en hibernation, donc ton ordi pourrait tenir la nuit en "pause".

[melektha]

2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève

Hum... si tu es un minimum bricoleuse, tu peux remplacer la batterie de ton UPS par une batterie de voiture 
Tu auras presque 10x plus d'autonomie... faut juste que tu aies assez de temps sans panne pour la recharger!

[fzs600]

1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève

Y a pas d'alarme sonore sur l'onduleur ?

[[AF>Libristes] Pascal]

1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève

Si ton onduleur est rellié au PC par USB tu peux lui faire envoyer automatiquement lors d'une coupure une commande au PC via boinccmd pour suspendre les calculs. Ça permet de gagner énormément d'autonomie. Je l'ai fait pour couper automatiquement le calcul GPU et faire redémarrer lors du retour du secteur avec mon Ellipse Max 1100 de MGE.
voir la commande --set_run_mode {always | auto | never} pour tous les calculs ou --set_gpu_mode {always | auto | never} pour les calculs GPU :

https://boinc.berkeley.edu/wiki/Boinccmd_tool

[modesti]

Ça existe aussi sur Linux et surtout ça pompe moins de courant en hibernation, donc ton ordi pourrait tenir la nuit en "pause".

C'est le mode "Mettre en pause" dans le menu de fermeture? Faudra que je teste

Hum... si tu es un minimum bricoleuse, tu peux remplacer la batterie de ton UPS par une batterie de voiture 
Tu auras presque 10x plus d'autonomie... faut juste que tu aies assez de temps sans panne pour la recharger!

Y a pas d'alarme sonore sur l'onduleur ?

Si, mais tu connais les locaux: le bureau est au RDC et je dors à l'étage. En plus la porte du bureau est fermée normalement 

Si ton onduleur est rellié au PC par USB tu peux lui faire envoyer automatiquement lors d'une coupure une commande au PC via boinccmd pour suspendre les calculs. Ça permet de gagner énormément d'autonomie. Je l'ai fait pour couper automatiquement le calcul GPU et faire redémarrer lors du retour du secteur avec mon Ellipse Max 1100 de MGE.
voir la commande --set_run_mode {always | auto | never} pour tous les calculs ou --set_gpu_mode {always | auto | never} pour les calculs GPU :

https://boinc.berkeley.edu/wiki/Boinccmd_tool

C'est configuré dans les préférences du BM: pas de calcul si ordi sur batterie. L'onduleur est bien relié au PC pour l'éteindre proprement quand la batterie atteint 20% de charge Mais ça ne résout pas le problème des tâches sans point de sauvegarde

[JeromeC]

Si l'ordi est sur onduleur je suppose que pour lui c'est comme être sur secteur, il voit pas la différence, et donc boinc se mettra jamais en veille...

Et c'est sûr que la conso boinc ON/OFF est pas exactement la même

Sinon linux connait suspend et hibernation, mais visiblement c'est pas toujours très évident...

[modesti]

Si si, il sait qu'il est sur batterie: il m'affiche une icône dans la barre de tâche et un message "l'onduleur se décharge" quand le courant se coupe.
Pour l'hibernation, je verrai ça quand j'aurai un moment (un soir du WE à venir avec un peu de chance )