Boinc et les projets distribués > Multi-catégories

MLC@Home

<< < (33/42) > >>

franky82:
https://www.mlcathome.org/mlcathome/forum_thread.php?id=199

--- Citer ---Cette semaine dans MLC@Home
Notes pour le 1er mai 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
Une mise à jour attendue cette semaine.

Tout d'abord, nous avons eu un petit problème de serveur ce matin, 1er mai, et nous sommes restés en panne pendant environ 10 heures jusqu'à ce qu'il soit résolu. Aucune donnée n'a été perdue et nous avons pu redémarrer sans autre problème, bien que certaines UT aient pu être marqués comme invalides en raison de l'état instable du système lors de sa panne, nous examinons cela pour le moment. C'est le premier temps d'arrêt imprévu depuis longtemps. Heureusement, nous avons été très stables depuis le passage au nouveau serveur l'année dernière.

Deuxièmement, grâce à un utilisateur astucieux, nous avons remarqué une tendance dans les nouvelles distributions Linux qui affectent les clients MLC (ainsi que d'autres comme Einstein@Home et LHC). Certaines distributions utilisent les capacités de sandboxing de systemd pour empêcher le client BOINC et toutes les applications de projet d'interagir avec le reste du système pour des raisons de sécurité. Malheureusement, les clients basés sur appimage de MLC utilisent / tmp, qui est maintenant limité dans le cadre de cette nouvelle politique. Nous avons identifié cela comme un problème avec Ubuntu 21.04 et Gentoo, et peut devenir un problème plus tard pour d'autres distributions basées sur systemd. Pour l'instant, une solution de contournement est répertoriée dans nos forums https://www.mlcathome.org/mlcathome/forum_thread.php?id=198 . La prochaine mise à jour du client supprimera le support appimage et ne sera donc pas affectée par le problème à l'avenir.

Nous avons également passé du temps à travailler sur le client ROCm et à le faire fonctionner avec Radeon VII ainsi qu'avec la carte graphique VEGA. Malheureusement, le client actuel vous oblige à installer rocm-3.9.0 sur votre système.

En parlant de la prochaine version du client, le support DS4 est implémenté et fonctionne, nous espérons donc déployer le nouveau client CPU avec quelques UT de test la semaine prochaine. Les fonctionnalités incluent la prise en charge de CNN (DS4), la liaison statique, (plus d'appimage!), Et quelques corrections mineures.

Autres nouvelles
 - Beaucoup de progrès sur DS3, nous avons terminé à environ 80%. C'est agréable de voir du vert apparaître sur le tableau de bord.
 - Nous avons participé aux semaines 2 et 3 de l'atelier BOINC, et nous attendons avec impatience que l'atelier publie les vidéos bientôt.
 - Nous recherchons des conférences / ateliers pour soumettre notre article publié.
 - Rappel : le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 22 avril 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

--- Fin de citation ---

fzs600:
New client testing has started
https://www.mlcathome.org/mlcathome/forum_thread.php?id=201&postid=1198

--- Citer ---Nous avons publié une nouvelle version du client CPU linux (avec support DS4) dans le canal mldstest.

C'est le plus grand changement dans la façon dont le client est construit et exécuté depuis le début du projet, donc nous nous attendons à un peu de chaos. Nous avons déjà rencontré un problème où l'application fonctionne bien en mode autonome, mais se bloque lors du chargement du jeu de données lorsqu'elle est exécutée sous le client boinc. Il faut donc s'attendre à des problèmes sur le canal de test au cours des prochains jours, le temps que nous résolvions ces problèmes.

Voici les changements significatifs :

* Support DS4 (CNN)
* Plus d'appimage, à la place nous avons un binaire lié statiquement. Donc un seul fichier à télécharger
* Testé en standalone pour fonctionner sur CentOS 7 (nouveau), ubuntu 21.04, 20.04, 16.04, et debian 10 et 11, sur AMD et Intel.
* Compile HDF5, OpenBLAS, et PyTorch directement dans le binaire.
* Mise à jour vers PyTorch v1.8.

Et beaucoup d'autres petites corrections/changements pour supporter DS4. Cela devrait nous permettre d'être prêts pour de nombreux mois à venir, alors s'il vous plaît soyez indulgents avec nous pendant que nous réglons les problèmes maintenant.

Les clients GPU, Windows et ARM suivront dès que le client CPU linux de base fonctionnera.

Traduit avec www.DeepL.com/Translator (version gratuite)
--- Fin de citation ---

fzs600:
 :/

--- Citer ---    17 May 2021, 4:45:53 UTC    17 May 2021, 4:47:25 UTC    Erreur lors des calculs    4.19    0.00    ---    Machine Learning Dataset Generator (test) v9.89
x86_64-pc-linux-gnu
--- Fin de citation ---

franky82:
https://www.mlcathome.org/mlcathome/forum_thread.php?id=203

--- Citer ---Cette semaine Ce mois-ci dans MLC@Home
Notes pour le 8 juin 2021
Un résumé mensuel des nouvelles et des notes pour MLC@Home

Résumé
Les mises à jour sont arrivées lentement ces derniers mois, depuis la présentation à l'atelier BOINC et la publication de notre article initial, alors que nous ajustons personnellement (heureusement !) les débuts d'une vie post-pandémique. Le travail, la vie de famille et tout change pour beaucoup d'entre nous, et nous essayons toujours de comprendre la nouvelle normalité. Pour cette raison, à l'avenir, ces mises à jour seront mensuelles car elles prennent un peu de temps à assembler et nous ne parvenons pas à les sortir chaque semaine depuis un certain temps maintenant de toute façon. Et voici en espérant que tous nos volontaires du monde entier se trouvent dans une zone où eux aussi peuvent commencer à dépasser le pire de la pandémie.

Mais cela ne veut pas dire que le projet est en sommeil !

DS1/DS2/DS3 sont tous en voie d'achèvement, en particulier DS3 qui se situe à 97%. Nous parlons de DS4 depuis des mois et le code est prêt pour des tests plus importants. Malheureusement, nous avons déployé un client de test il y a quelques semaines qui a lamentablement échoué, en raison d'une incompatibilité entre PyTorch et l'API BOINC native. il existe un moyen de contourner cela, mais cela nécessite plus de développement et un changement dans la façon dont les UT sont spécifiées, et nous y travaillons depuis. Nous devrions être prêts d'un jour à l'autre, mais cela a été plus compliqué que nous ne le pensions donc nous ne pouvons pas vous donner de délai. Mais nous savons que nous devons l'avoir disponible dès que les UT DS3 seront épuisées.

Certains des autres avantages du nouveau client sont qu'il est lié de manière statique, ce qui simplifie considérablement le déploiement. Le temps de développement supplémentaire nous a également permis d'apporter un changement pour nous rendre plus robustes aux NaN, ce qui devrait réduire le nombre d'erreurs de validation sur le système.

Un autre nouveau problème est que la partition de données manque d'espace sur le serveur. DS3 prend le contrôle de 4 To ! Merci à tous nos bénévoles ! Nous avons déplacé certaines choses pour faire un peu d'espace afin que tout fonctionne encore pour le moment. Nous avons reçu un nouveau stockage aujourd'hui et nous aurons besoin d'un temps d'arrêt pour l'installer. Cela ne devrait pas prendre plus de quelques minutes, nous allons donc le faire dans le courant de la semaine prochaine.

Alors, restez à l'écoute, le mois prochain sera intéressant pour MLC@Home.

Autres nouvelles
 - DS1/DS2 continue à un rythme lent. Il continuera en arrière-plan jusqu'à ce que nous ayons 10 000 échantillons de chaque.
 - Nous travaillons à maintenir le document à jour et à l'étoffer un peu plus.
 - Nous envisageons également un ensemble de travaux légèrement nouveau au-delà de la génération d'ensembles de données, donc j'espère que MLDS ne sera pas le seul projet à l'avenir.
 - Rappel : le client MLC est open source, et dispose d'une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un scientifique des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une demande d'extraction.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)




Notes TWIM de la semaine dernière: 1er mai 2021

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

--- Fin de citation ---

JeromeC:
:jap:

Navigation

[0] Index des messages

[#] Page suivante

[*] Page précédente

Utiliser la version classique