Le Forum de l'Alliance Francophone
Boinc et les projets distribués => Annonces sur Boinc et les projets => Boinc-projets terminés => Discussion démarrée par: fzs600 le 01 Juillet 2020 à 19:14
-
(https://www.mlcathome.org/mlcathome/img/mlcathome-banner.png)
Infos utiles.
Projet personnel de John Clemens : https://scholar.google.com/citations?user=kIKFod8AAAAJ&hl=en (https://scholar.google.com/citations?user=kIKFod8AAAAJ&hl=en)
MLC@Home est désormais,juillet 2020,un projet du laboratoire CORAL (The Cognition, Robotics, and Learning) de l'université du Maryland, comté de Baltimore (UMBC). https://coral-lab.umbc.edu/ (https://coral-lab.umbc.edu/)
MLC@Home est un projet de calcul distribué consacré à la compréhension et à l'interprétation de modèles d'apprentissage machine complexes, en mettant l'accent sur les réseaux de neurones.
Statut : projet terminé
URL du projet : https://www.mlcathome.org/mlcathome/ (https://www.mlcathome.org/mlcathome/)
Application disponible : https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
État du serveur : https://www.mlcathome.org/mlcathome/server_status.php (https://www.mlcathome.org/mlcathome/server_status.php)
L'alliance Francophone : https://www.mlcathome.org/mlcathome/team_display.php?teamid=4 (https://www.mlcathome.org/mlcathome/team_display.php?teamid=4)
Classement mondial de L'af : pas disponible
Mis a jour par fzs600 le 22 janvier 2023
-
1 Jul 2020, 16:30:38 UTC 1 Jul 2020, 18:35:18 UTC Terminé et validé 7,435.78 7,141.05 260.00 Machine Learning Dataset Generator v0.90
x86_64-pc-linux-gnu
1 Jul 2020, 16:30:38 UTC 1 Jul 2020, 18:38:46 UTC Terminé et validé 7,600.80 7,310.49 260.00 Machine Learning Dataset Generator v0.90
x86_64-pc-linux-gnu
1 Jul 2020, 16:30:38 UTC 1 Jul 2020, 18:38:46 UTC Terminé et validé 7,646.09 7,360.04 260.00 Machine Learning Dataset Generator v0.90
x86_64-pc-linux-gnu
-
Arf, réservé aux pingouins. :/
-
Arf, réservé aux pingouins. :/
Une application Windows est prévu.
-
Pour les manchots :D !
Merci pour l'info, je tente :hello:
-
C'est typiquement le genre de projet que je pensais voir uniquement en GPU sur RTX ... :siflotte:
-
"Projet personnel" - donc si on veut avoir un minimum de points avant qu'il ne soit terminé, on a intérêt à se dépêcher :D
:marcp:
-
"Projet personnel" - donc si on veut avoir un minimum de points avant qu'il ne soit terminé, on a intérêt à se dépêcher :D
:marcp:
C'est bien possible.
-
Pas d'export de stats encore.
Je vais leur demander.
-
Merci Dudu :jap:
C'était du rapide: le projet est déjà dans les stats de Seb
-
Tout est parti en erreur de mon coté.
Il faut installer fuse :coffeetime:
-
Pas eu de soucis de mon côté, mais je viens de vérifier et fuse2 et fuse3 sont installés.
Vu que c'est un Manjaro installé lors d'une Linux Install Party, je ne sais pas trop tout ce que j'ai côté logiciels, j'avoue :desole:
2 Jul 2020, 16:44:10 UTC 2 Jul 2020, 18:52:36 UTC Completed and validated 3,290.75 3,268.89 260.00 Machine Learning Dataset Generator v0.90 x86_64-pc-linux-gnu
-
Arf, réservé aux pingouins. :/
L'OS est pas cher si tu veux mettre une VM en place :o
-
Arf, réservé aux pingouins. :/
L'OS est pas cher si tu veux mettre une VM en place :o
https://forum.boinc-af.org/index.php/topic,8332.msg503030.html#msg503030 (https://forum.boinc-af.org/index.php/topic,8332.msg503030.html#msg503030) :o
-
Sur Debian j'ai dû aussi installer fuse (j'avais pourtant cru qu'il y était, je suis pas un pro de apt...) car ça partait en cahouette mais après ça tourne.
-
Pas d'export de stats encore.
Je vais leur demander.
Il y a maintenant les stats.
A activer (Donnez votre accord) sur le site du projet.
-
C'est quand même bizarre que ce paramètre soit ignoré par StatSeb chez qui j'ai commencé à faire des crédits direct, y'a que SetiBZH qui le respecte (je parle en général, pas que pour ce projet).
C'est lié au fait que StatSeb ne lit pas les mêmes fichiers de données sur les sites des projets que SetiBZH, et que les projets en question ne respectent pas la case à cocher pour ces types de fichiers là ?
-
Une application Windows est désormais disponible.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
7 Jul 2020, 4:36:36 UTC 10 Jul 2020, 4:36:36 UTC En cours --- --- --- Machine Learning Dataset Generator v9.20
windows_x86_64
-
Une application Windows est désormais disponible.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
7 Jul 2020, 4:36:36 UTC 10 Jul 2020, 4:36:36 UTC En cours --- --- --- Machine Learning Dataset Generator v9.20
windows_x86_64
Il faut cocher: Exécuter les applications de test
-
Une application Windows est désormais disponible.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
7 Jul 2020, 4:36:36 UTC 10 Jul 2020, 4:36:36 UTC En cours --- --- --- Machine Learning Dataset Generator v9.20
windows_x86_64
Il faut cocher: Exécuter les applications de test
C'est exact. :kookoo:
-
Une application Windows est désormais disponible.
Merci pour l'info. :jap:
-
Diligence scientifique / objectif de la recherche
https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152)
-
L'admin cherche un volontaire. :kookoo:
Tout ça, je n'ai pas de mac sur lequel m'appuyer, donc il n'y a pas d'application test, et il n'y en aura pas non plus de sitôt.
Ce dont j'ai besoin, c'est d'un développeur mac osx qui soit prêt à porter/compiler/débugger/tester une application à partir des sources. Tant qu'un développeur ne se présentera pas, il n'y aura pas de support osx. J'en ai le désir, mais je n'ai ni le matériel ni le savoir-faire.
Traduit avec www.DeepL.com/Translator (version gratuite)
https://www.mlcathome.org/mlcathome/forum_thread.php?id=27&postid=158 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=27&postid=158)
-
Diligence scientifique / objectif de la recherche
https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152)
Etant récemment tombé sur votre nouveau projet, j'ai tout de suite aimé la question de la recherche ainsi que le fait que la plateforme soit ouverte au grand public. Je pense vraiment que l'étude de cette question pourrait donner des résultats intéressants. J'ai cependant été très intéressé par les informations de base sur la façon dont vous mettez en œuvre ce projet.
Pour moi, il y a deux aspects importants lorsqu'il s'agit de modèles complexes, en particulier dans l'espace des réseaux de neurones. L'explicabilité et l'interprétabilité des modèles. Le premier consiste à pouvoir expliquer pourquoi un modèle a donné une certaine prédiction (a donné une solution spécifique) et le second consiste à savoir comment le modèle a réellement donné cette solution. Habituellement, les praticiens ne s'intéressent qu'au premier aspect, car il s'agit essentiellement de l'exploration de la solution optimale/prévision (c'est-à-dire la moindre erreur de classification) et veulent donc comprendre pourquoi les résultats obtenus par une structure de réseau formée de manière optimale sont jugés optimaux et comment ils sont transférés dans le monde réel. Il s'agit essentiellement d'une inférence probabiliste causale permettant d'établir une relation de cause à effet pour donner un sens à la solution optimale.
Le deuxième élément concernant l'interprétabilité du modèle est généralement très négligé et est la raison pour laquelle beaucoup appellent les structures de réseau sophistiquées des modèles de boîte noire, car ils ne savent que ce qui se passe techniquement à l'intérieur du réseau/modèle mais ne peuvent pas vraiment le sonder/transférer au sens du monde réel dans la façon dont le modèle trouve la solution. Alors que l'explication d'une structure optimale pourrait être possible, la signification réelle de la transformation des données n'est pas vraiment intuitive (sélection des caractéristiques, activation des données plus biais, schémas de pondération des neurones, topologie du réseau, fonctions d'activation, taux d'apprentissage, coefficients de moment, montée et descente du gradient, optimisation stochastique de la méthode du gradient, propagation des erreurs en retour et mise à jour des poids, etc.)
D'après ce que j'ai compris, les gens se tournent vers les diagrammes de dépendance partielle, les variables de substitution globales ou locales ou la valeur de Shapley pour obtenir au moins une compréhension intuitive, jusqu'à un certain niveau, des variables qui tendent à expliquer la plus grande partie de la solution globale prévue. Vous pouvez également utiliser n'importe quel algorithme de réduction dimensionnelle tel que l'ACP pour obtenir une meilleure intuition sur la saisie des données, mais la formation NN n'est pas encore plus intuitive. Pour moi, c'est donc vraiment le problème de l'interprétabilité du modèle. C'est là que vous voulez aborder le problème, n'est-ce pas ?
Pour en revenir à votre page de description, vous savez que de nombreux réseaux neuronaux sont formés en parallèle avec des entrées, des hyperparamètres et des structures de réseau étroitement contrôlés. Pour moi personnellement, de nombreuses questions demeurent.
- Quelle est la technique utilisée pour entraîner les réseaux (montée et descente en gradient ou toute autre technique améliorée stochastiquement) ?
- ces techniques varieront-elles en fonction de l'UG ou des lots ?
- considère-t-on des structures de réseaux neuronaux spécifiques ou de simples ANNs "plain vanilla" ?
- quel ensemble de données est utilisé pour la formation afin de comprendre ce que les modèles formés tentent de prévoir ? Je ne veux pas former certains modèles sur des données douteuses / dans un but douteux.
- nous concentrons-nous sur les réseaux de neurones pour la classification (sortie catégorielle) ou formons-nous aux modèles de régression des réseaux de neurones (sortie numérique)
- Que signifie un contrôle étroit des hyperparamètres ? Un sous-ensemble de HP est-il fixé pour toutes les UGF et seul un HP est changé à la fois dans chaque UGF ?
- de nombreux hyperparamètres sont-ils modifiés simultanément par unité d'eau, c'est-à-dire un ensemble ou un sous-ensemble de HP ? Comment contrôlez-vous les effets de chevauchement ?
- quels hyperparamètres prenez-vous en compte ? Nombre de couches cachées, neurones par couche, différentes fonctions d'activation, différentes méthodes de gradient, biais, schémas de pondération, initialisation du poids, différents rapports de division de l'ensemble de données en ensemble d'entraînement et de test, introduction de bruit dans les données, méthodes d'échantillonnage des données d'entraînement, méthodes d'échantillonnage stratifiées/matières cachées, régularisation, introduction d'un coefficient d'impulsion pour l'apprentissage, sélection de caractéristiques, méthodes d'échantillonnage de sous-ensembles de caractéristiques, ingénierie des caractéristiques, etc. qui, d'après ce que je comprends, sont tous qualifiés d'hyperparamètres, c'est-à-dire tout paramètre dont la valeur doit être décidée et convenue avant le début de l'entraînement ? Il n'est pas nécessaire de dresser une liste exhaustive, mais simplement de connaître l'essentiel de la direction que prend ce projet.
- Cet ensemble d'hyperparamètres considérés changera-t-il au fil du temps ou est-il statique ?
- d'autres types de réseaux seront-ils formés à l'avenir ? des réseaux convolutifs, récurrents ou à auto-encodeur par exemple, qui ont tous un nombre croissant de cas d'utilisation dans le monde réel ?
- comment comptez-vous analyser les résultats produits par notre WU écrasé ? Selon quels processus/critères les analysez-vous ? Une attention particulière est-elle accordée à certains HP ? Comment évaluez-vous l'ensemble des données du modèle généré ? Seulement les taux d'erreur de classification pour la précision ? Comment jugez-vous la complexité ? Toute intention de rendre un algorithme qui tente essentiellement de trouver un modèle à partir de l'ensemble des données générées qui (comme l'ACP ou la régression) conserve la plus grande partie de la variance globale des données mais avec le moins d'entrées possible (essentiellement à une complexité donnée (définie selon une mesure pondérée) donnerait toujours la "structure de réseau la plus simple" à une complexité donnée (disons quelques hyperparamètres fixes/contraints) -> Je me demande simplement ce que vous voulez analyser ?
Nous apprécierions toute information supplémentaire que vous pourriez nous communiquer :)
Désolé pour le retard de réponse, le jeudi est ma journée la plus chargée.
Tout d'abord, des questions fantastiques. Je vais essayer de les couvrir toutes ici du mieux que je peux. Pour plus d'informations, je suis en train de créer une page web pour couvrir la plupart de vos questions... vous pouvez la voir sur le site principal https://www.mlcathome.org/index.html, et cliquez sur "MLDS Datasets" dans la barre latérale. Cette page est encore en construction, mais elle répondra à certaines de vos questions et vous permettra de télécharger l'ensemble de données.
Je reconnais que je suis beaucoup plus intéressé par l'interprétabilité du réseau que par l'explication des raisons pour lesquelles une entrée particulière produit une sortie particulière. Le LRP, les gradients intégrés, etc. font déjà un bon travail en montrant quelles parties de l'entrée ont le plus contribué à la sortie particulière. Mais pour ce faire, vous avez besoin d'intrants et vous observez essentiellement comment le réseau transforme cet intrant particulier. Super, utile, mais je veux regarder un réseau sans me fier à un intrant particulier. Je pense que cela correspond aussi à ce qui vous intéresse. Un domaine de recherche que j'ai vu est celui de Weiss et al. où ils essaient d'extraire des automates directement des RNN en utilisant des modèles d'inférence grammaticale. Remarque : j'ai pu reproduire leurs travaux pour les classificateurs, mais pas les réseaux modélisant un transducteur, où chaque état est un état d'acceptation. Il existe de nombreux autres travaux dans ce domaine également, je les utilise simplement comme exemple de personnes qui ne s'intéressent qu'à la structure et aux poids du réseau.
Cela dit, pour l'instant, je ne fais que créer un ensemble de données, il n'y a aucune raison qu'il ne puisse pas être utilisé pour les deux. Ou quelque chose de complètement différent.
J'en viens maintenant à vos questions spécifiques :
- quelle est la technique utilisée pour entraîner les réseaux (montée et descente par gradient ou toute autre technique stochastique améliorée) ?
La descente de gradient stochastique. L'optimiseur d'Adam. Le code est disponible sur gitlab
- Ces techniques varieront-elles en fonction de l'UE ou des lots ?
Pour ce premier tour, non, mais pour les travaux futurs absolument.
- Est-ce que des structures de réseaux neuronaux spécifiques sont envisagées ou de simples ANNs "plain vanilla" ?
Je suis vraiment intéressé par les RNN, donc ce premier lot est constitué de RNN empilés très simples basés sur ceux de cet article, non pas parce qu'il s'agit d'un papier RGEAT par exemple, mais parce qu'il contient des machines très simples qui sont faciles à modéliser avec un RNN et qui sont faciles à former rapidement. Elles constituent un bon banc d'essai pour éliminer les défauts du système.
- quel ensemble de données est utilisé pour la formation afin de comprendre ce que les modèles formés essaient de prévoir ? Je ne veux pas former certains modèles sur des données douteuses / dans un but douteux.
Voir le document ci-dessus, et le code sur gitlab.com. Les données de formation sont des séquences d'entrée aléatoires et des séquences de sortie observées sur ces "machines" jouets.
- nous concentrons-nous sur les réseaux de neurones pour la classification (sortie catégorielle) ou formons-nous aux modèles de régression des réseaux de neurones (sortie numérique)
Régression. Voir ci-dessus, nous prédisons des séquences de sortie.
- Que signifie un contrôle serré des hyperparamètres ? Un sous-ensemble de HP est-il fixé pour toutes les WU et seul 1 HP est changé à la fois dans chaque WU ?
Ce premier lot est composé d'hyperparamètres fixes, mais les lots suivants pourraient changer d'hyperparamètres. Si c'est le cas, nous n'en générons pas seulement un, mais des milliers avec le même ensemble d'hyperparamètres. Et ces hyperparamètres seront documentés avec cet ensemble de données afin que chacun sache ce qui change, et nous avons de multiples exemples à comparer.
- Est-ce que plusieurs hyperparamètres sont modifiés simultanément par unité de puissance, c'est-à-dire un ensemble ou un sous-ensemble de l'ensemble des HP ? Comment contrôlez-vous les effets de chevauchement ?
Puisque nous avons la possibilité d'en faire fonctionner tant en parallèle, je dirais que nous devrions faire fonctionner plusieurs lots en les modifiant un à la fois, puis les combiner, de sorte que l'ensemble de données résultant contienne toutes ces informations pour une analyse ultérieure.
- Quels sont les hyperparamètres que vous considérez ? Le nombre de couches cachées, les neurones par couche, les différentes fonctions d'activation, les différentes méthodes de gradient, le biais, les schémas de pondération, l'initialisation des poids, les différents rapports de division de l'ensemble de données en ensembles de formation et de test, l'introduction du bruit dans les données, les méthodes d'échantillonnage des données de formation, les méthodes d'échantillonnage stratifié/exploitation, la régularisation, l'introduction d'un coefficient de momentum pour l'apprentissage, la sélection des caractéristiques, les méthodes d'échantillonnage des sous-ensembles de caractéristiques, l'ingénierie des caractéristiques, etc. qui, d'après ce que je comprends, sont tous qualifiés d'hyperparamètres, c'est-à-dire tout paramètre dont la valeur doit être décidée et convenue avant le début de la formation ? Il n'est pas nécessaire de dresser une liste exhaustive, mais simplement de connaître l'essentiel de la direction que prend ce projet.
[citation]
Tous seront pris en considération. La version actuelle du client peut modifier le nombre de couches cachées, la largeur des couches cachées et différents ratios de formation et de test. C'est du pytorch sous le capot, donc tout ce qu'ils supportent, nous pouvons le supporter. Pour en ajouter, il suffit d'ajouter des boutons au binaire.
- Cet ensemble d'hyperparamètres considérés va-t-il changer avec le temps ou est-il statique ?
Le client évoluera dans le temps et cet ensemble va certainement s'accroître.
- d'autres types de réseaux seront-ils formés à l'avenir ? des réseaux convolutifs, récurrents ou à auto-encodeur par exemple, qui ont tous un nombre croissant de cas d'utilisation dans le monde réel ?
Oui. Je m'intéresse particulièrement aux transformateurs...
- comment comptez-vous analyser les résultats produits par notre WU écrasé ? Selon quels processus/critères les analysez-vous ? Un intérêt particulier pour certains HP ? Comment évaluez-vous l'ensemble des données générées par le modèle ? Seulement les taux d'erreur de classification pour la précision ? Comment jugez-vous la complexité ? Toute intention de rendre un algorithme qui tente essentiellement de trouver un modèle à partir de l'ensemble des données générées qui (comme l'ACP ou la régression) conserve la plus grande partie de la variance globale des données mais avec le moins d'entrées possible (essentiellement à une complexité donnée (définie selon une mesure pondérée) donnerait toujours la "structure de réseau la plus simple" à une complexité donnée (disons quelques hyperparamètres fixes/contraints) -> Je me demande simplement ce que vous voulez analyser ?
Eh bien, j'ai quelques idées sur ce que je veux faire avec l'ensemble de données, mais l'ensemble de données lui-même sera rendu public pour que tous puissent l'analyser comme ils le souhaitent.
Veuillez lire la première page sur https://www.mlcathome.org et la page spécifique de mlds sur https://www.mlcathome.org/mlds.html, cela vous donnera plus d'informations.
J'espère que cela a répondu à la plupart de vos questions, et encore une fois, merci pour votre intérêt !
Notez que la réponse ci-dessus ne s'applique qu'à l'application MLDS fonctionnant sur MLC@Home. Je vois que cette infrastructure est également utilisée pour d'autres applications, et j'en parle avec d'autres chercheurs. Voici quelques autres idées qui me viennent immédiatement à l'esprit :
Recherche d'architecture neurale
Neuro-évolution
Recherche d'hyperparamètres pour un objectif spécifique
Mais pour l'instant, MLDS est la seule application fonctionnant sur MCL@Home. Au fur et à mesure que d'autres projets seront mis en ligne, je leur demanderai d'afficher plus d'informations ici afin que d'autres puissent choisir de contribuer ou non à ces sous-projets.
Merci beaucoup d'avoir pris le temps d'entrer dans les détails de votre réponse. Votre réponse est très intéressante à lire. En parcourant le document technique auquel vous avez fait référence, la formation des RNN avec les différentes architectures simples n'est en fait qu'un point de départ pour votre analyse, en construisant essentiellement l'ensemble de données initiales des modèles formés que vous voulez étudier, n'est-ce pas ?
C'est génial que vous soyez d'accord avec moi pour vous concentrer principalement sur l'aspect de l'interprétabilité des prédictions dérivées des RNN plutôt que sur l'aspect de l'explicabilité. Le pointeur Gitlab est apprécié. Je vais y regarder de plus près. Je suis vraiment ravi de voir que les HP changent avec le temps pour chaque lot d'entraînement de modèle et encore plus des résultats potentiels qu'une comparaison pourrait donner.
Vous avez certainement des sujets de recherche brûlants en tête pour l'avenir ainsi que pour les applications ultérieures. Vos travaux de recherche ont certainement du mérite et méritent mon soutien pour permettre de nouvelles explorations scientifiques dans cet espace.
Merci également de m'avoir indiqué le site web du MLDS, car je n'en avais pas connaissance auparavant. Je suis heureux de voir que des efforts sont faits pour expliquer aux autres le type de science qui est pratiqué et en particulier les objectifs du projet.
J'aurais aimé que les autres administrateurs du projet fassent preuve d'une rapidité et d'une éloquence de réponse similaires. J'espère que cette norme sera maintenue tout au long du projet et pas seulement au début, alors que les choses s'accélèrent pour attirer des volontaires.
J'aime ce que je vois ici et je resterai dans le coin car je m'intéresse à la façon dont les choses vont évoluer même si je ne peux contribuer qu'avec 12 fils de mon vieux Xeon. Bonne chance pour ce projet !
Continuez à vous démener ! [arf là pour le coup deepl n'a pas capté le "keep crunching away" !!]
Traduit avec www.DeepL.com/Translator (version gratuite)
Un projet hyper intéressant et un admin hyper intéressant !!!
-
Biologie ? vraiment ? un projet qui cherche à travailler sur la validation de modèle d'IA ?
Je sais qu'on a pas vraiment de catégorie pour ça, alors pourquoi pas dans la section des projets générale ? ou celle des projets multi-catégorie ? (vu que visiblement le projet va évoluer, tout en restant dans ce domaine de recherche)
-
Biologie ? vraiment ? un projet qui cherche à travailler sur la validation de modèle d'IA ?
Je sais qu'on a pas vraiment de catégorie pour ça, alors pourquoi pas dans la section des projets générale ? ou celle des projets multi-catégorie ? (vu que visiblement le projet va évoluer, tout en restant dans ce domaine de recherche)
Pour ce type de recherche j'ai zieuter sur Wikipédia c'est bien de la Biologie mais bon je peux changer de catégorie si il le faut. :kookoo:
-
Ben...
MLC@Home est un projet de calcul distribué consacré à la compréhension et à l'interprétation de modèles d'apprentissage machine complexes, en mettant l'accent sur les réseaux de neurones. Il utilise la plateforme de calcul distribué BOINC.
Ce que fait MLC@Home
MLC@Home fournit une plateforme ouverte et collaborative pour les chercheurs qui étudient la compréhension de l'apprentissage machine. Il nous permet de former des milliers de réseaux en parallèle, avec des entrées, des hyperparamètres et des structures de réseau étroitement contrôlés. Nous l'utilisons pour mieux comprendre ces modèles complexes.
Le projet initial de MLC@Home, le générateur d'ensembles de données d'apprentissage machine (MLDS), générera un vaste ensemble de données de réseaux simples formés avec des données propres et contradictoires. À notre connaissance, il s'agit du premier ensemble de données de ce type. MLC@Home accueille également les propositions de projets d'autres chercheurs en rapport avec ce domaine de recherche. MLC@Home demande que toutes les données générées par les projets soutenus soient mises à la disposition du public et que, dans la mesure du possible, tous les documents et analyses soient également rendus publics.
C'est pas parce qu'on dit "réseau de neurones" que c'est de la bio, on parle bien de recherche en intelligence artificielle.
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=34
Exciting news!
MLC@Home is now a project of the The Cognition, Robotics, and Learning (CORAL) lab at the University of Maryland, Baltimore County (UMBC).
This brings many benefits, not the least of which is lab space to run equipment, new ideas for research to conduct, and a place to collaborate with other researchers who may not be members of the BOINC community. Most importantly, being backed by a university research lab provides some assurance to you, our volunteers, that this project has both academic merit and a purpose beyond a single researcher and their goals. Over the next few days I'll be updating our website to reflect the new affiliation.
As always, please see our main website, https://www.mlcathome.org for details on the current research, or join us by attaching your BOINC client to this URL: https://www.mlcathome.org/mlcathome/
Des nouvelles passionnantes !
MLC@Home est désormais un projet du laboratoire CORAL (The Cognition, Robotics, and Learning) de l'université du Maryland, comté de Baltimore (UMBC).
Cela apporte de nombreux avantages, dont le moindre n'est pas l'espace de laboratoire pour faire fonctionner l'équipement, de nouvelles idées de recherche à mener, et un lieu pour collaborer avec d'autres chercheurs qui ne sont peut-être pas membres de la communauté BOINC. Plus important encore, le fait d'être soutenu par un laboratoire de recherche universitaire vous donne une certaine assurance, à vous, nos volontaires, que ce projet a à la fois un mérite académique et un but qui va au-delà d'un seul chercheur et de ses objectifs. Dans les prochains jours, je vais mettre à jour notre site web pour refléter la nouvelle affiliation.
Comme toujours, veuillez consulter notre site web principal, https://www.mlcathome.org pour des détails sur la recherche en cours, ou rejoignez-nous en joignant votre client BOINC à cette URL : https://www.mlcathome.org/mlcathome/
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=34
Exciting news!
MLC@Home is now a project of the The Cognition, Robotics, and Learning (CORAL) lab at the University of Maryland, Baltimore County (UMBC).
This brings many benefits, not the least of which is lab space to run equipment, new ideas for research to conduct, and a place to collaborate with other researchers who may not be members of the BOINC community. Most importantly, being backed by a university research lab provides some assurance to you, our volunteers, that this project has both academic merit and a purpose beyond a single researcher and their goals. Over the next few days I'll be updating our website to reflect the new affiliation.
As always, please see our main website, https://www.mlcathome.org for details on the current research, or join us by attaching your BOINC client to this URL: https://www.mlcathome.org/mlcathome/
Des nouvelles passionnantes !
MLC@Home est désormais un projet du laboratoire CORAL (The Cognition, Robotics, and Learning) de l'université du Maryland, comté de Baltimore (UMBC).
Cela apporte de nombreux avantages, dont le moindre n'est pas l'espace de laboratoire pour faire fonctionner l'équipement, de nouvelles idées de recherche à mener, et un lieu pour collaborer avec d'autres chercheurs qui ne sont peut-être pas membres de la communauté BOINC. Plus important encore, le fait d'être soutenu par un laboratoire de recherche universitaire vous donne une certaine assurance, à vous, nos volontaires, que ce projet a à la fois un mérite académique et un but qui va au-delà d'un seul chercheur et de ses objectifs. Dans les prochains jours, je vais mettre à jour notre site web pour refléter la nouvelle affiliation.
Comme toujours, veuillez consulter notre site web principal, https://www.mlcathome.org pour des détails sur la recherche en cours, ou rejoignez-nous en joignant votre client BOINC à cette URL : https://www.mlcathome.org/mlcathome/
Merci pour l'info. :kookoo:
-
:+1:
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=217 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=217)
À ma connaissance (je vais essayer de le raccourcir au risque de faire quelques erreurs de généralisation), l'idée de base n'est pas de former ici des modèles de réseaux neuronaux pour un cas d'utilisation spécifique. Les modèles sont essentiellement formés sur des données de jouets aléatoires (n'ayant aucune signification sémantique). Cependant, les réseaux formés présentent une architecture neurale différente sur laquelle ils sont formés. L'idée est essentiellement d'ouvrir la boîte noire en examinant comment l'inclusion et l'ajustement de certains paramètres dans l'apprentissage des réseaux neuronaux peuvent affecter son pouvoir explicatif et sa précision.
Dans ce cycle (ensemble de données 1 + 2), nous nous concentrons sur la modification de l'architecture du réseau tout en laissant tout le reste égal. D'autres paramètres qui affectent la formation sont ensuite modifiés lors des cycles suivants.
L'objectif n'est pas de former le modèle en utilisant des données du monde réel pour modéliser et prévoir un cas d'utilisation réel, mais de mieux comprendre pourquoi certaines modifications des paramètres qui définissent la formation conduisent à un certain résultat dans le modèle formé. Devenir capable d'interpréter non seulement pourquoi une solution dérivée/prévue du réseau est dite optimale mais aussi mieux comprendre comment la solution a été exactement dérivée et comment cette solution diffère selon les changements dans l'ensemble des hyperparamètres. L'implication de cette recherche est donc bien plus importante que le simple fait de dire un certain cas d'utilisation d'une application dans un domaine spécifique, mais elle pourrait aider à faire progresser la compréhension de la formation des réseaux neuronaux en général/ dans tous les domaines, ce qui conduirait à des modèles plus expressifs, une plus grande précision et surtout une compréhension meilleure et plus intuitive du processus par lequel le réseau génère des solutions particulières.
J'espère avoir bien compris et, au moins dans une certaine mesure, sans trop de répétitions. Si vous me le faites savoir, je pourrai réessayer.
Traduit avec www.DeepL.com/Translator (version gratuite)
-
[ce que dit] bozz4science est correct.
Nous menons une recherche fondamentale pour comprendre les modèles d'apprentissage machine. Nous le faisons avec des données "jouets" qui ne s'appliquent pas à un domaine particulier, mais la compréhension que nous espérons acquérir aidera tous les domaines qui utilisent l'apprentissage machine à mieux comprendre les limites et à améliorer les modèles qui sont utilisés dans ces domaines.... et le ML [apprentissage machine] est utilisée dans presque tous les domaines en ce moment.
-
Bientôt une application pour ARM.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237)
-
Ça fait un gros RAC de 40k avec les 24 threads du (vieux) Joe, je vais le laisser arriver au miyon, ça fera pas de mal :)
-
Bientôt une application pour ARM.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237)
Ça avance bien. :kookoo:
https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=291 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=291)
-
Linux/armhf and Linux/arm64 support status thread
https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=310 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=310)
Les utilisateurs attentifs remarqueront peut-être que le MLDS est maintenant disponible pour l'ARM 64 bits sur ce serveur (si vous regardez *vraiment* bien, vous verrez aussi un binaire 32 bits mal configuré, mais qui fonctionne aussi).
Ne l'utilisez pas encore à moins que vous ne vouliez *vraiment* le tester, car il y a au moins un problème flagrant : il est multithreadé au lieu d'être single threadé, ce qui le conduit à surcommuter les plates-formes.
Mais nous nous en rapprochons. Je travaille sur un petit lot de corrections et sur l'automatisation du processus de construction pour le jeu de données 3 ; donc, à moins que vous ne vouliez vraiment être sur la corde raide, attendez la prochaine version du client et une annonce officielle.
Traduit avec www.DeepL.com/Translator (version gratuite)
10 Aug 2020, 5:22:00 UTC 12 Aug 2020, 5:22:00 UTC En cours --- --- --- Machine Learning Dataset Generator v9.20
aarch64-unknown-linux-gnu
-
Après des débuts difficile avec PI4 ça s'améliore bien.
11 Aug 2020, 4:58:59 UTC 15 Aug 2020, 13:44:46 UTC Terminé et validé 41,827.50 41,287.31 260.00 Machine Learning Dataset Generator v9.20
aarch64-unknown-linux-gnu
11 Aug 2020, 4:58:59 UTC 15 Aug 2020, 13:24:20 UTC Terminé et validé 42,030.59 41,470.29 260.00 Machine Learning Dataset Generator v9.20
aarch64-unknown-linux-gnu
-
New client released with ARM support!
https://www.mlcathome.org/mlcathome/forum_thread.php?id=59&postid=341 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=59&postid=341)
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=76
Cette semaine dans MLC@Home
Notes pour le 14 septembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Nous approchons des 2000 hôtes avec une récente note de crédit! Merci à tous ceux qui contribuent!
Nous sommes vraiment, vraiment ravis que nous approchions de la fin des ensembles de données 1 et 2. Ces réseaux embêtants Parity * et EightBit * commencent à se terminer, ce qui signifie que cette entreprise massive touche à sa fin et sera bientôt prête à être publiée.
La nouveauté cette semaine est le lancement d'un projet MLDStest pour tester en version bêta les nouvelles versions de clients et le nouvel ensemble de données 3 WU. Les utilisateurs ont la possibilité de refuser d'exécuter des unités de test s'ils le souhaitent (sous les préférences du compte), mais le nombre de WU devrait être très petit, et ce serait une grande aide de les exécuter si vous le pouvez, alors pensez à rester en tant que testeur.
Cette semaine, nous avons résolu la plupart des problèmes dans les coulisses de Dataset 3 et avons déjà envoyé des WU de test. Cette semaine, nous espérons mettre en file d'attente le gros des WU de l'ensemble de données 3. Les préparatifs pour le jeu de données 4 (MNIST et TrojAI) sont en cours.
La rédaction d'articles se poursuit jusqu'à la date limite de la conférence à la fin du mois.
Nouvelles:
Nouvelle application "MLDStest" ajoutée au site.
Nouvelles préférences de projet activées, y compris la possibilité de limiter les applications que vous exécutez et les limites sur les cœurs de processeur à utiliser en même temps.
Le client v9.60 en test, aucun problème jusqu'à présent, sera publié dans l'application MLDS régulière plus tard cette semaine.
Modifications du client pour le Dataset 4 en cours.
Une discussion technique de Dataset 3 est en cours dans les forums pour ceux qui s'intéressent à la science qui le sous-tend.
Nous ferons une version officielle d'un ensemble de données préliminaire (1 + 2) une fois que nous aurons au moins 1000 exemples de chaque type de machine, et nous nous rapprochons!
Le nouveau serveur n'a pas encore été expédié par le fournisseur, mais devrait être "n'importe quel jour maintenant".
Nous n'avons pas oublié les badges! Nous nous concentrons uniquement sur le papier et la nouvelle génération WU pour le moment. Cela dit, si les volontaires souhaitent proposer des designs potentiels pour des badges, rendez-vous sur les forums et rejoignez la discussion.
Aperçu de l' état du projet:
Tâches
Tâches prêtes à être envoyées 12847
Tâches en cours 22234
Utilisateurs
avec crédit 690
Enregistré au cours des dernières 24 heures 25
Hôtes
avec crédit récent 1960
Enregistré au cours des dernières 24 heures 42
Progression actuelle de GigaFLOPS 31675.59 Ensemble de
données 1 et 2:
SingleDirectMachine 10002/10004
EightBitMachine 9994/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 602/10005
ParitéModifiée 118/10005
EightBitModifié 4554/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModifié 10002/10002
Notes TWIM de la semaine dernière : 8 septembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=72)
Merci encore à tous nos bénévoles!
- Les administrateurs MLC@Home
-
Ca bouge bien !
-
GPU update
https://www.mlcathome.org/mlcathome/forum_thread.php?id=89&postid=567 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=89&postid=567)
-
Ah ! Bonne nouvelle :). Espérons un beau CUDA avec peu de %CPU pour faire tourner le GPU à 100% :coffeetime:
-
Darling
https://www.mlcathome.org/mlcathome/forum_thread.php?id=93&postid=603 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=93&postid=603)
-
Mmm c'est bizarre en lisant la page principale du site, ça fait exactement l'inverse de ce qu'il faudrait "running macOS software on linux" et lui il veut porter son soft linux sur macOS sans avoir de Mac :lol:
-
:kookoo:
Server maintenance starting tonight at midnight local time (3.5 hours from this post). Expect MLC@Home website and #boinc scheduler to be down for about a day. Hopefully less, but we're leaving lots of time.. to move to a new, more powerful server!
Maintenance du serveur à partir de ce soir à minuit, heure locale (3,5 heures à partir de ce poste). Le site web MLC@Home et le programmateur #boinc devraient être hors service pendant environ une journée. Espérons moins, mais nous vous laissons beaucoup de temps... pour passer à un nouveau serveur plus puissant !
-
Depuis quelques jours, il y avait souvent des délais dans les envois, espérons que ce sera plus solide :) (pareil pour odlk et t.brada de temps en temps en ce moment)
Edit: depuis hier soir, ça tourne sans soucis; on dirait qu'ils ont fait l'upgrade sans bobos.
-
:hello:
Est-ce que vous faites tourner les UT 'test' ?
Merci
:kookoo:
-
:hello:
Est-ce que vous faites tourner les UT 'test' ?
Merci
:kookoo:
22 Sep 2020, 21:18:46 UTC 23 Sep 2020, 21:14:16 UTC Terminé et validé 82,503.57 81,415.95 585.00 Machine Learning Dataset Generator (test) v9.61
aarch64-unknown-linux-gnu
22 Sep 2020, 21:08:47 UTC 24 Sep 2020, 7:26:56 UTC Terminé et validé 123,378.68 121,714.10 585.00 Machine Learning Dataset Generator (test) v9.61
aarch64-unknown-linux-gnu
Sinon pas moyen d'en avoir d'autre. :cavapobienmwa:
-
Non, y en a eu 20 de distribuées, rien vu chez moi :cry:
-
Y'en a une qu'est passée chez moi, et personne pour la valider :cry:
-
Pourtant il y en a 26000 en attente
-
26000 tâches dispos de l'appli de base mais 17 de l'appli de test, au moment où j'écris.
-
ça fait plusieurs jours que je crunche du MLC et je n'ai eu aucune UT test ! :/
-
Je ne fais pas de MLC en ce moment et je n'avais pas coché "autoriser les applis de test" donc deux bonnes raisons de ne jamais en avoir pour moi :D
-
:hello:
Est-ce que vous faites tourner les UT 'test' ?
Merci
:kookoo:
La réponse ?
https://www.mlcathome.org/mlcathome/forum_thread.php?id=100&postid=657 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=100&postid=657)
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=102#663
Cette semaine dans MLC@Home
Notes pour le 19 octobre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Un bref résumé cette semaine, car c'était une semaine calme sur les forums et une semaine chargée en dehors du projet. Hé, parfois la vie arrive. Voir ci-dessous pour les mises à jour de la prise en charge GPU, les mises à jour Paper, l'ensemble de données 4 et la prise en charge OSX.
Nouvelles :
- Nous avons franchi le premier jalon du jeu de données 3 ! Bravo à tous nos bénévoles ! Les prochaines étapes consistent à le conditionner et à rédiger une brève analyse / article à soumettre à arXiv et à publier l'ensemble de données au public! Les travaux de l'étape 2 (1000x100) sont en cours !
- Nous avons passé un certain temps la semaine dernière à accéder aux machines Windows et Linux avec CUDA, donc les clients GPU devraient être mis à l'essai cette semaine. Nous rencontrons des problèmes pour l'empaquetage de la version ROCm, mais nous essaierons également de les intégrer aux tests.
- Nous avons également sécurisé l'accès sur une machine OSX et avons exécuté le client sur OSX! Cependant, l'empaquetage sur OSX fait face à un autre ensemble de défis similaires à ROCM empaquetant les bibliothèques avec
- La préparation du jeu de données 4 se poursuit. Nous avons les données, nous avons juste besoin de quelques mises à jour du backend pour gérer le nouveau type ou les nouveaux réseaux (classification vs régression).
- Aucun changement dans le jeu de données 1 + 2 pour le moment, il y a des WU Partiy et EightBit mis à jour en cours de test, mais nous n'avons pas encore traité ces résultats pour nous assurer qu'ils sont prêts pour une sortie complète.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
Tâches
- Tâches prêtes à envoyer 25261
- Tâches en cours 21240
Utilisateurs
- avec crédit 961
- Enregistré dans les dernières 24 heures 45
Hôtes
- avec crédit récent 2064
- Enregistré dans les dernières 24 heures 15
GigaFLOPS actuel 248734.27
Progression des jeux de données 1 et 2
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 854/10005
ParityModified 243/10005
EightBitModified 6365/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModified 10002/10002
Progression des jeux de données 3
Globalement (jusqu'à présent): 26430/30112
Milestone 1, 100x100: 10000/10000
Milestone 2, 100x1000: 26430/100000
Milestone 3: 100x10000: 26430/1000000
Merci encore à tous nos bénévoles!
- Les administrateurs MLC@Home
-
J'ai sauté quelques mises à jour de MLC...
https://www.mlcathome.org/mlcathome/forum_thread.php?id=113#758
Cette semaine dans MLC@Home
Notes pour le 2 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Si vous êtes aux États-Unis et que vous n'avez pas encore profité du vote anticipé, veuillez voter demain.
Sommaire :
Semaine (s) GPU, partie 2. Les inconvénients des mises à jour hebdomadaires sont parfois que vous n'avez pas grand-chose à signaler. Malheureusement, la majeure partie de cette semaine a été perdue en essayant de déboguer un étrange crash lié uniquement au client lors de la compilation pour Linux / CUDA. Il s'avère que cela n'a rien à voir avec notre code, c'est une étrange interaction entre la bibliothèque de threads utilisée dans les bibliothèques pré-compilées pytorch et la bibliothèque BOINC. Il nous a fallu plusieurs jours pour réaliser que ce n'était pas notre code qui causait le problème, il en faudra maintenant quelques autres pour trouver une solution, ce qui nécessitera probablement un pytorch compilé sur mesure, ce qui prendra quelques jours de plus pour déboguer .
Les accélérations du GPU en valent la peine, mais veuillez rester avec nous pendant que nous résolvons ces problèmes dans la file d'attente des tests, et continuez à vous déplacer dans la file d'attente de recherche principale!
Nouvelles :
Nous nous attendons à la plupart des questions de CUDA aplanies et les ont en usage général (non-bêta) par la dernière semaine prochaine. Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent!
Nous reviendrons sur les estimations WU FLOPS pour tout nouveau problème de WU à partir de cette semaine, cela devrait résoudre les problèmes de surestimation avec le temps.
J'ai passé un peu de temps à travailler sur DS4 et le papier DS3, mais le débogage GPU a à nouveau pris la majorité du temps libre.
Instantané de l'état du projet :
(note ces chiffres sont approximatifs)
Tâches
- Tâches prêts à envoyer 41034
- Tâches en cours 9231
utilisateurs
- Avec crédit : 1080
- enregistrés au cours des dernières 24 heures : 39
hôtes
- Avec crédit récent : 2106
- enregistré au cours des dernières 24 heures : 24
GigaFLOPS actuels : 29333,56
Dataset 1 et 2 progrès :
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 912/10005
ParityModified 289/10005
EightBitModified 6597/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModified 10002/10002
Progression de l'ensemble de données 3 :
Overall (so far): 44466/50557
Milestone 1, 100x100: 10000/10000
Milestone 2, 100x1000: 44466/100000
Milestone 3: 100x10000: 44466/1000000
Notes TWIM de la semaine dernière: 27 octobre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=108)
Merci encore à tous nos bénévoles!
- Les administrateurs MLC@Home
-
Mon taux d'erreur sur MLC est un taux record !
Je dois laisser tomber ce projet.
3 valides pour des dizaines d'erreurs...
:priz2tet:
-
Pour moi, c'est 237 valides pour 28 erreurs: c'est beaucoup mais acceptable
-
7458 valides et 3437 erreurs...quand meme.......
-
État: Tous (13910) · En cours (271) · Validation en attente (98) · Validation non concluante (2) · Valide (12600) · Invalide (102) · Erreur (835)
Et beaucoup de ces erreurs viennent du fait que je n'avais pas encore installé : Microsoft Visual C++ Redistributable for Visual Studio 2015 sur Windows.
-
État: Tous (13910) · En cours (271) · Validation en attente (98) · Validation non concluante (2) · Valide (12600) · Invalide (102) · Erreur (835)
Et beaucoup de ces erreurs viennent du fait que je n'avais pas encore installé : Microsoft Visual C++ Redistributable for Visual Studio 2015 sur Windows.
Je ne me rappelle pas précisément, mais ça peut être la même chose pour moi
-
Et sous Linux, vous savez s'il y a une manip spéciale à faire pour diminuer le nombre d'erreurs ?
-
J'ai fait le tour des tâches en erreur,
il n'y en a que sur les linux :) (Maurice n'est pas bien réveillé après son anniv solo hier soir) :cpopossib:
Mais tous les autres participants sont en erreur aussi.
J'avais même pas regardé le détail des erreurs
<core_client_version>7.16.6</core_client_version>
<![CDATA[
<message>
process got signal 6</message>
<stderr_txt>
terminate called after throwing an instance of 'c10::Error'
what(): CUDA error: forward compatibility was attempted on non supported HW
Exception raised from current_device at ../c10/cuda/CUDAFunctions.h:40 (most recent call first):
frame #0: c10::Error::Error(c10::SourceLocation, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >) + 0x69 (0x7f354b5b8eb9 in /tmp/.mount_mldsteimsrO9/usr/bin/../lib/libc10.so)
frame #1: at::cuda::getCurrentDeviceProperties() + 0x175 (0x7f34fec45355 in /tmp/.mount_mldsteimsrO9/usr/bin/../lib/libtorch_cuda.so)
frame #2: <unknown function> + 0x8ec5c (0x55de951dfc5c in ../../projects/www.mlcathome.org_mlcathome/mldstest_9.71_x86_64-pc-linux-gnu__cuda_fermi)
frame #3: __libc_start_main + 0xf3 (0x7f34fb0080b3 in /lib/x86_64-linux-gnu/libc.so.6)
frame #4: <unknown function> + 0x8d57a (0x55de951de57a in ../../projects/www.mlcathome.org_mlcathome/mldstest_9.71_x86_64-pc-linux-gnu__cuda_fermi)
</stderr_txt>
]]>Ils font des tests sur une appli GPU depuis quelque temps, mais une majorité des erreurs sont sur la machine windows qui n'avait pas encore le bon Microsoft Visual C++ Redistributable for Visual Studio.
-
Et sous Linux, vous savez s'il y a une manip spéciale à faire pour diminuer le nombre d'erreurs ?
Donc sous ubuntu.
GenuineIntel
Intel(R) Core(TM) i7 CPU 870 @ 2.93GHz [Family 6 Model 30 Stepping 5]
(8 processeurs)
j'ai ceci.
État: Tous (2525) · En cours (48) · Validation en attente (16) · Validation non concluante (0) · Valide (2048) · Invalide (20) · Erreur (393)
Et sous ubuntu.
AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor [Family 21 Model 2 Stepping 0]
(8 processeurs)
J'ai ceci.
État: Tous (4458) · En cours (99) · Validation en attente (33) · Validation non concluante (1) · Valide (4255) · Invalide (13) · Erreur (57)
Donc sur ces 2 PC les dernières erreurs date du mois d'octobre et encore sur 1 des PC ce sont des annulation par le serveur et donc pas vraiment des erreurs.
-
J'en ai que deux "annulées par le serveur"
-
OK, vu.
Merci à vous.
Je vais laisser tomber ce projet pour le moment !
-
Hop, j'ai récupéré quelques UT test GPU (nVidia CUDA) ! :coffeetime:
(elles sont rares et dispos par courtes séries : https://www.mlcathome.org/mlcathome/server_status.php )
-
Hop, j'ai récupéré quelques UT test GPU (nVidia CUDA) ! :coffeetime:
(elles sont rares et dispos par courtes séries : https://www.mlcathome.org/mlcathome/server_status.php )
Merci pour l'info. :jap:
Je viens de voir j'en ai récupéré 44.
Sur Windows ça donne ceci.
9 Nov 2020, 2:52:10 UTC 9 Nov 2020, 10:35:05 UTC Terminé et validé 3,071.87 2,985.91 959.40 Machine Learning Dataset Generator (test) v9.70 (cuda10200)
windows_x86_64
Par contre sur Ubuntu tout part en erreur. :cry:
9 Nov 2020, 15:18:14 UTC 9 Nov 2020, 15:59:26 UTC Erreur lors des calculs 2.08 0.00 --- Machine Learning Dataset Generator (test) v9.75 (cuda10200)
x86_64-pc-linux-gnu
-
Moi, uniquement sous Windows (je n'ai pas de GPU sous Linux), aucune erreur,
et temps légèrement plus court avec ma GTX 1070 (mais même crédit attribué par UT) !
-
Moi, uniquement sous Windows (je n'ai pas de GPU sous Linux), aucune erreur,
et temps légèrement plus court avec ma GTX 1070 (mais même crédit attribué par UT) !
Sous ubuntu l'admin laisse courir pour le moment si j'ai bien compris.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=111&postid=774 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=111&postid=774)
-
Il va distribuer les uts aux machines qui remplissent les conditions. J'espère que ma gtx-970 sera ok, sur le papier elle remplit les conditions.
Mais c'est elle qui a eu ces erreurs :( à suivre
Ma gtx-960 sous Windows est en train de calculer une ut
MLC@Home 9.75 Machine Learning Dataset Generator (test) (cuda10200)
Durée annoncée environ 2h :eek:
Temps 8,824.63 environ 2h et 1/2.
-
J'en ai téléchargé un paquet ce matin qui sont encore en cours de traitement.
-
Il y en avait 1330, j'en ai chopé 2, bande de goinfres :cry:
-
J'ai eu du mal a en avoir, au début, mais maintenant, j'ai un petit stock de 6 à 8 UT !
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=118#792
Cette semaine dans MLC@Home
Notes pour le 9 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
de la (des) semaine(s) GPU, partie 3. Nous avons pris du temps la semaine dernière pour nous concentrer sur des choses autres qu'universitaires, mais quand même nous avons réussi à sortir un client Linux / CUDA mis à jour qui fonctionne maintenant sur au moins certains systèmes. Tenter de créer une seule application qui s'exécute sur plusieurs versions de système d'exploitation, de pilotes et de CUDA s'avère difficile. C'est également un cas étrange où l'application Linux se révèle plus difficile que celle de Windows ... 2020 est une chronologie vraiment étrange.
Nouvelles :
Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci : https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
Nous avons mis en place un AppPlan BOINC pour filtrer les clients qui peuvent recevoir le client CUDA qui fonctionneront. Vous aurez besoin du pilote CUDA version 440 ou supérieure, de Windows 10 ou Linux avec GLIBC 2.27 ou supérieur et d'une carte nvidia avec une capacité de calcul 3.5 ou supérieure.
Nous nous attendons à aplanir la plupart des questions de CUDA en usage général (non-bêta) pour la semaine prochaine.
Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de cruncher. GRAND progrès jusqu'à présent !
Le débogage du GPU continue de prendre trop de temps, nous sommes impatients de les publier afin de pouvoir nous concentrer sur la science.
Instantané de l' état du projet :
(note ces chiffres sont approximatifs)
* Tâches
- Tâches prêts à envoyer : 16536
- Tâches en cours : 22529
* utilisateurs
- Avec crédit : 1134
- enregistrés au cours des dernières 24 heures : 35
* hôtes
- Avec crédit récent : 2097
- enregistré au cours des dernières 24 heures : 24
GigaFLOPS actuelles : 26267,99
Progression des ensemble de données 1 et 2 :
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 949/10005
ParityModified 308/10005
EightBitModified 6713/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModified 10002/10002
Progression de l'ensemble de données 3 :
Overall (so far): 49317/53359
Milestone 1, 100x100: 10000/10000
Milestone 2, 100x1000: 49317/100000
Milestone 3: 100x10000: 49317/1000000
Notes TWIM de la semaine dernière : 2 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=113)
Merci encore à tous nos bénévoles !
- Les administrateurs MLC@Home [/ s]
-
Cool ce projet avec un admin qui communique et une équipe qui bosse :)
-
Après une version test (qui reste en cours), une application GPU séparée est apparue
https://www.mlcathome.org/mlcathome/apps.php
https://www.mlcathome.org/mlcathome/server_status.php
(ça fera une application de plus pour WuProp)
-
J'ai une bonne moitié des UT qui partent direct en erreurs.
-
Pour le moment, je n'ai que des erreurs sur la gtx-970 qui est sous ubuntu 20.04: j'espère qu'il arriveront à stabiliser l'appli pour linux; pour Windows pas d'erreurs avec la GPU.
-
Je m'inscris et teste le GPU Le Maryland, l'état de ce projet a voté à 65% pour Biden et 33% pour le clown orange :warf:
Ceci étant Fort Meade la base de la NSA est aussi dans le Maryland. J'espère que ce projet n'est pas un honeypot Je fais confiance à Franky :p600:
1 tache GPU Cuda soldée Win 10 Nvidia GTX 1660 0,6 point par seconde :hyperbon:
Je continue
Un projet est pris en compte pour le FB à partir de combien de credits ?
-
:kookoo:
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.
-
Oui, moi aussi, toutes les WUs pour GPU partent en erreur au bout de quelques secondes !
-
Il n'y a aucun résultat pour l'application Machine Learning Dataset Generator (GPU) GNU/Linux alors qu'en version (test) ça a l'air bon.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
-
Sur windows cela a l'air de marcher J'ai déjà 5 UT valides 2 en validation et 0 erreur.
-
Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !
-
Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !
Idem de mon côté avec une GTX 1660, toutes les tâches faites sont Ok (ou en pending)
:hello:
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=124#854
Cette semaine dans MLC@Home
Notes pour le 17 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC @ Home
Résumé
semaine(s) GPU, partie 4: La saga continue.
Cette semaine, nous commençons à revenir à l'écriture et à l'analyse des données existantes. Il y a encore beaucoup à discuter concernant les GPU, mais nousdevons également prendre le temps d'écrire un peu; et franchement, les problèmes avec le client Linux / CUDA nous ont déconcertés pour le moment, donc prendre une semaine ou deux pour se concentrer sur une partie de la science qui s'accumule devrait nous aider à nous éclaircir la tête et à y revenir avec une nouvelle perspective.
La semaine dernière, nous avons activé la piste de publication (application "mlds-gpu") du client GPU pour Windows et Linux, et la bonne nouvelle est qu'au moins le client Windows fonctionne plutôt bien *, et sa mastication à travers les WU à merveille, complétant le crunch du processeur qui continue sans relâche. Avoir une application séparée nous permet de capturer les exigences de RAM extrêmement différentes pour les WU CUDA sans pénaliser les crunchers du processeur. La ligne GPU nous permet d'envoyer un ensemble de données plus long 1 + 2 WU, ce qui a conduit à une belle augmentation du nombre de Parity * WU complets, ce qui signifie que nous avons enfin plus de 1000 exemples de chaque type de réseau pour Dataset1, et sur notre chemin vers cela dans le jeu de données 2. Ce serait bien de résumer ces deux choses le plus tôt possible. Nous continuerons à publier des WU en parallèle avec les files d'attente CPU et GPU pour nourrir les deux utilisateurs.
Cependant, tout ne va pas bien au pays des GPU. Nous avons publié le client Linux / CUDA, mais après plusieurs jours, pas un seul WU ne s'est terminé sans erreur, nous l'avons donc retiré de la production et nous allons réessayer. C'est incroyablement frustrant, car cela fonctionne sur notre machine de test, mais sur les machines volontaires, cela échoue avec des erreurs CUDA indiquant des incompatibilités de pilotes dans l'espace utilisateur <->. De toute évidence, nous ne les regroupons pas correctement. De plus, il y a eu des résultats étranges sur l'utilisation du processeur et le client Windows CUDA. Les utilisateurs ont signalé de meilleures performances et une meilleure utilisation s'ils attribuent deux processeurs au WU au lieu d'un, même si un cœur reste inactif tout le temps. Il y a des spéculations dans le fil lié, mais nous devrions également le retrouver bientôt.
Tout cela pour dire que nous sommes vraiment ravis que la prise en charge du GPU soit au moins partiellement active et nous donne une belle amélioration des performances, mais cela a également été plus épuisant que prévu, et nous devons nous recentrer un peu avant de s'attaquer à Linux. / CUDA à nouveau. Si des développeurs Linux / CUDA expérimentés souhaitent offrir de l'aide pour déployer notre combinaison d'applications pytorch / cuda, nous serions ravis que vous nous contactiez et que vous nous aidiez à résoudre les problèmes.
Des nouvelles plus spécifiques ci-dessous, certaines d'entre elles ne sont même pas liées au GPU !
Nouvelles :
- Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci: https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
- Nous avons activé nos systèmes de test ARM qui étaient tombés du réseau pour nous assurer que l'application ARM actuelle continue de fonctionner. Nous sommes en mesure de vérifier que nos trois systèmes de test arm32 / arm64 exécutant Debian 10 fonctionnent bien avec le dernier client, cela inclut un RPi3 (32 bits), un RPi4 (64 bits) et un CuBox-i4 ( 32 bits).
- Les WU de l'ensemble de données 1 + 2 que nous libérons dans la file d'attente du GPU ont une limite d'époque plus grande que ceux de la file d'attente du processeur et ont une augmentation proportionnelle du crédit attribué. Nous pouvons faire un changement similaire dans la file d'attente du processeur, mais cela signifierait des durées d'exécution beaucoup plus longues, donc pour l'instant, nous voyons comment cela se passe dans la file d'attente du GPU et ferons une décision à l'avenir.
- Nous avons passé du temps cette semaine à rechercher comment supprimer l'exigence AppImage (FUSE) sous Linux. C'est certainement possible, mais nous détestons déployer ce changement, même dans la file d'attente de test, car dans l'ensemble, appimage n'a pas causé trop de problèmes et ne veut rien faire d'inutile pour le moment. Nous avons pensé que cela pourrait aider avec les problèmes Linux / CUDA, mais ce n'est plus le cas.
- Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent !
- Nous savons que certaines pages Web sont obsolètes, et nous espérons y remédier cette semaine. Les mises à jour mises en file d'attente comprennent: une mise à jour / refaire complète de la page du jeu de données MLDS et une mise à jour de la section «configuration système requise» de la page principale pour mieux répertorier les exigences logicielles minimales.
- Si nous divisons chacun des trois ensembles de données en 3 versions en fonction du nombre d'exemples de chaque version (100, 1000, 10000), nous sommes prêts à regrouper l'ensemble de données 1 (100, 1000), l'ensemble de données 2 (100), et jeu de données 3 (100).
- Si vous n'êtes pas au courant du podcast réseau BOINC, les développeurs de MLC@Home s'y cachent et y contribuent parfois.
Assurez-vous de le vérifier si vous êtes intéressé : https://www.boinc.network/ . - Nous espérons revenir à la préparation de Dataset 4 et rédiger un rapport / article technique pour accompagner les versions de Dataset cette semaine.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
* Tâches prêtes à envoyer : 48470
* Tâches en cours : 24464
- Utilisateurs
* avec crédit : 1190
* Enregistré au cours des dernières 24 heures : 47
- Hôtes
* avec crédit récent : 2129
* Enregistré au cours des dernières 24 heures : 25
- GigaFLOPS actuel 33798.72
Progression des ensembles de données 1 et 2 :
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 1005/10005
ParityModified 336/10005
EightBitModified 6803/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModified 10002/10002
Progression des ensembles de données 3 :
Overall (so far): 64502/84376
Milestone 1, 100x100: 10000/10000
Milestone 2, 100x1000: 64502/100000
Milestone 3: 100x10000: 64502/1000000
Notes TWIM de la semaine dernière: 9 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=118)
Merci encore à tous nos bénévoles!
- La page d'accueil des administrateurs MLC@Home [/ s] : https://www.mlcathome.org/
Twitter: @MLCHome2
-
OK, merci pour ces nouvelles !
Je vais réessayer avec les GPU d'ici 1 semaine.
On verra bien...
-
Je l'utilise depuis que c'est dispo, avec ma GTX 1070, et ça va bien plus vite qu'avec CPU !
-
Sur windows, donc ?
-
Inévitablement puisqu'il n'y a plus d'appli GNU/Linux, seulement en test.
-
Sur Windows, oui : version GPU !
(il y a une appli GPU Linux : version test)
https://www.mlcathome.org/mlcathome/apps.php
-
Euh, pour la "version test" vous parlez pour GPU? Parce que j'en ai fait pas plus tard que ce matin en CPU et c'était pas estampillé "test" :desole:
-
Dans les applis dispos en cours, il ne reste que GPU Linux pour test : https://www.mlcathome.org/mlcathome/apps.php !
Peut-être en avais-tu en stock pour CPU !?
-
Nan, je les ai récupérées dans la journée et je viens de voir qu'elles sont toujours en cours (96-97% d'avancement). Ce sont des "Machine Learning Dataset Generator 9.61" en CPU sous Linux.
Edith dit que de toute façon elle n'a pas de GPU :D
-
Bon ben apparemment, ma gts 450 n'est pas compatible... :gno:
-
:kookoo:
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.
La nouvelle version est arrivé j'en ai récuperé une vingtaine et apparemment elle ne part pas en erreur. :hello:
23 Nov 2020, 16:50:18 UTC 23 Nov 2020, 19:32:06 UTC Terminé et validé 4,216.29 4,198.05 959.40 Machine Learning Dataset Generator (test) v9.80 (cuda10200)
x86_64-pc-linux-gnu
-
Merci fzs600, je vais essayer. :jap:
-
Effectivement, maintenant c'est bon.
Il a fallu télécharger 25 bibliothèques pour que ça fonctionne. :priz2tet:
La GTX1060 est loin d'être gavée, elle n'est qu'à 60% avec 2 tâches. :/
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=128#881
Cette semaine dans MLC@Home
Notes pour le 24 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
BoincNetwork a fait un podcast présentant MLC@Home! Vous pouvez écouter l'épisode, y compris certains commentaires de vos administrateurs MLC, à l' adresse https://www.boinc.network/episode/mlchome . Merci à tous ceux de BoincNetwork de s'intéresser à nous.
La semaine dernière, nous avons pivoté vers l'analyse et l'écriture. Cependant, nous avons pris une dernière fissure au niveau du support Linux / CUDA, et étonnamment, cela semble avoir fait l'affaire. Nous avons publié le support Linux / CUDA dans la file d'attente principale mlds-gpu. Il y a cependant des compromis avec le nouveau client, en particulier en ce qui concerne l'espace disque requis.
Nous avons également publié la prise en charge des GPU Linux / ROCm AMD pour mldstest, mais elle n'est actuellement activée que pour les GPU VEGA 56/64 et nécessite un noyau Linux 5.0.0 ou supérieur. Veuillez consulter le lien dans la section Actualités ci-dessous pour plus de détails.
Nous avons également passé du temps à réviser la page du jeu de données MLDS sur le site Web principal. Ce n'est toujours pas parfait, mais un peu moins obsolète qu'il ne l'était, et se prépare à publier davantage les premiers ensembles de données. Avec cela et quelques analyses supplémentaires, nous travaillons à notre premier article sur l'ensemble de données. Plus de nouvelles ci-dessous.
Nouvelles :
- Plus de détails sur la prise en charge des GPU Linux mis à jour, à la fois CUDA et ROCm, et c'est ici: https://www.mlcathome.org/mlcathome/forum_thread.php?id=127 (cadre en bas *).
- Les derniers clients GPU suppriment l'exigence AppImage. Les clients CPU l'utilisent toujours, mais il peut être judicieux de le déposer là aussi. Voir le fil ci-dessus pour les compromis associés.
- DS1 + DS2 continuent de progresser vers l'achèvement. Il ne reste plus que les unités de travail Parity et EightBit ! Continuez !
- La progression de DS3 approche le jalon 2, 1000x100 .. approchant les 100000 réseaux DS3 formés. Cela aidera certainement à notre analyse continue. C'est agréable de voir le tableau de bord en bas de https://www.mlcathome.org/ passer du jaune au vert !
- Mise à jour la page de l'ensemble de données MLDS ici : https://www.mlcathome.org/mlds.html , vous pouvez voir comment nous prévoyons actuellement de diviser les ensembles de données pour la publication.
- Nous avons commencé à rédiger un article sur le jeu de données cette semaine et espérons revenir à la préparation du jeu de données 4 cette semaine.
Instantané de l' état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
* Tâches prêtes à envoyer : 28803
* Tâches en cours : 19629
- Utilisateurs
* avec crédit : 1251
* Enregistré au cours des dernières 24 heures : 57
- Hôtes
* avec crédit récent : 2156
* Enregistré au cours des dernières 24 heures : 19
- GigaFLOPS actuel 36126,42
Progression des ensembles de données 1 et 2 :
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 1031/10005
ParitéModifié 348/10005
EightBitModifié 6910/10006
SimpleXORModified 10005/10005
SingleDirectModifié 10004/10004
SingleInvertModifié 10002/10002
Progression des ensembles de données 3 :
Globalement (jusqu'à présent): 75935/84376
Jalon 1, 100x100: 10000/10000
Jalon 2, 100x1000: 75935/100000
Jalon 3: 100x10000: 75935/1000000
Notes TWIM de la semaine dernière: 17 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=124)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
* Plus de détails sur la prise en charge des GPU Linux mis à jour, à la fois CUDA et ROCm
Nous avons apporté quelques modifications aux clients Linux dans mldstest et nous obtenons de meilleurs résultats, mais avec quelques compromis. Cependant, il semble que nous ayons beaucoup plus de chance avec le support GPU sous Linux maintenant!
Voici un court journal des modifications pour 9.80 dans mldstest :
- Suppression du regroupement appimage, maintenant nous expédions simplement le binaire brut et les bibliothèques (cela a quelques compromis ...)
- Mise à jour vers PyTorch 1.7
- Les clients GPU nécessitent la libc 2.27 ou supérieure (Ubuntu 18.04+)
- CUDA 10.2 ou supérieur pour NVIDIA
- Prenez d'abord en charge les GPU AMD !
Plus de bundling
Le gros changement est que le client GPU 9.80 en test n'est plus fourni avec AppImage. C'est bien en ce sens que cela supprime la dépendance d'avoir FUSE disponible et configuré sur votre système, et le bit étrange où l'application cliente monte en fait un système de fichiers squashfs en mémoire dans / tmp sur votre système. Il supprime également une source d'erreur possible sur le système.
L'inconvénient est la taille des bibliothèques que nous devons expédier. CUDA est énorme. Notre binaire lui-même fait 8,6 Mo, mais la bibliothèque libtorch_cuda fait 1,9 Go, et plusieurs autres bibliothèques portent la taille totale de l'application + bibliothèque à 3 Go. Avec AppImage, ces bibliothèques ont été compressées et stockées sur le disque dans un système de fichiers squashfs, ce qui a réduit l'exigence sur le disque à environ 900 Mo-1,6 Go (selon la version). Pire encore, ces fichiers doivent être téléchargés dans le répertoire du projet, puis copiés dans chaque répertoire en cours d'exécution (je ne sais pas pourquoi BOINC ne fait pas de liaison ici, il nous manque peut-être un paramètre?), Donc ils prennent deux fois plus espace disque lors de son utilisation. Plus si vous avez plus d'un GPU.
Donc, en substance, nous avons échangé beaucoup plus d'espace disque pour un client plus simple qui semble mieux fonctionner sur plus de systèmes. Dans l'ensemble, nous pensons que c'est une victoire, et cela facilitera le débogage, mais surtout du côté du GPU, le coup d'espace disque n'est pas trivial. Les futures applications de processeur pourraient également s'éloigner de appimage, mais en raison du fait que les gens ont beaucoup plus de threads de processeur que de GPU, l'équation de compromis d'espace disque pourrait être différente. Prise en charge des
GPU AMD
La prise en charge de ROCm est ici, mais il y a quelques mises en garde. Le plus important est que c'est seulement pris en charge par les cartes discrètes basées sur VEGA pour le moment, ce qui signifie VEGA56 / 64, Radeon VII, plusieurs cartes MIxxx. NAVI1 et NAVI2 ne sont pas entièrement pris en charge par ROCm, la prise en charge des graphiques discrets POLARIS est (temporairement) interrompue dans ROCm 3.9, et devrait être corrigée lors de la sortie de ROCm 4.0 (annoncé la semaine dernière). Quand ROCm 4.0 sortira, je re-tournerai le client rocm avec ce qui devrait également permettre le crunching GPU basé sur POLARIS (RX 550,560,570,580,590). Les APU ne sont pas pris en charge. Windows n'est pas pris en charge.
Actuellement, le serveur ne servira que les WU ROCm aux machines avec "Radeon RX Vega" dans leur chaîne d'identifiant hôte / os et (une fois que nous aurons implémenté une correction de bogue dans le code de base de boinc) exécutera le noyau 5.0.0 ou supérieur.
Pour le moment, le support ROCm est plus lent que CUDA, mais toujours plus rapide que CPU.
Mise à jour des exigences
Pour CUDA:
capacité de calcul 3,5 ou plus
4 Go de RAM (2 Go autorisés mais peut-être trop peu pour certains WU)
CUDA 10.2 ou supérieur (et pilote compatible 455+)
GLIBC 2.27+ (Ubuntu 18.04+, Debian 10+, CentOS 8+, Fedora 28+, ou équivalent)
Pour ROCm:
carte graphique discrète basée sur Radeon VEGA (POLARIS à venir)
4 Go de RAM (2 Go autorisés mais peut-être trop peu pour certains WU)
Kernel 5.0.0 ou supérieur
GLIBC 2.27+ (Ubuntu 18.04+, Debian 10 +, CentOS 8+, Fedora 28+ ou équivalent)
Utilisation du processeur
Tous ces frameworks utilisent plusieurs threads CPU lorsqu'ils parlent au CPU. Sur ROCm et CUDA, la somme totale des pics d'utilisation du processeur dépasse 100% pour un processeur (j'ai personnellement observé des pics d'utilisation d'environ 120%). Les tentatives pour limiter cela jusqu'à présent ont échoué et ont un effet sur les performances. Mais pour être un bon citoyen de la BOINC, nous continuerons de nous attaquer et de voir si nous pouvons le ramener à un niveau raisonnable.
Résultats à ce jour
Depuis l'activation de ces deux clients de tests la nuit dernière, nous constatons un taux de réussite> 98% sur AMDROCM et CUDA ! .. si les choses continuent à bien se passer, nous passerons le client CUDA à mlds-gpu. le client ROCm restera dans mldstest un bt plus longtemps jusqu'à ce que ROCM 4.0 soit publié.
Donc, si vous pouvez tester, faites-le !
-
Merci franky :jap:
-
:jap:
-
Merci, mais le client me demande de mettre à jour mon pilote graphique alors que j'ai le dernier.Je comprends pas donc pas de gpu dessus.
-
Il est au top cet admin, avec un rapport d'activité hebdomadaire. Wow.
Merci Franky !
-
Question pour ceux/celles qui font encore du MLC en CPU:
Est-ce que dans les propriétés d'une tâche vous avez aussi pas de temps de calcul? (cf capture jointe)
C'est une tâche qui a dû redémarrer pour la 2e ou 3e fois ce matin. Elle était déjà arrivée à >2 jours de calcul et je me tâte pour abandonner tout ça, parce que faire des heures OK, mais pas pour rien.
Remarquez, j'en ai eu d'autres qui ont mis trèèèèèèèèèèèès longtemps en Runtime, mais environ six fois moins en temps CPU :pt1cable:
https://www.mlcathome.org/mlcathome/results.php?hostid=185&offset=0&show_names=0&state=4&appid=
Et tout version 9.61
-
D'un autre côté, ta tâche a dépassé la date limite et a (sûrement) été annulée ! :/
-
Oui, les 8 sont marquées "time out" sur le serveur, mais on peut toujours rêver de les finir quand même...
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=131#909
Cette semaine dans MLC@Home
Notes pour le 30 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Seulement une courte mise à jour cette semaine, car nous avons effectué une analyse sur les données collectées jusqu'à présent en préparation d'un article, et c'était un week-end de vacances dans notre partie du monde. Le nouveau client Linux / CUDA semble bien fonctionner, nous pouvons donc arrêter de spammer le fil d'actualité avec une mise à jour chaque semaine. Plus d'informations dans les actualités ci-dessous.
Nouvelles :
- Plus de détails sur la prise en charge du GPU Linux mis à jour, à la fois CUDA et ROCm, et c'est ici, y compris une discussion récente sur l'utilisation du disque du nouveau client: https://www.mlcathome.org/mlcathome/forum_thread.php?id=127 .
- DS1 et DS2 continuent vers l'achèvement. Nous avons modifié certains des WU pour qu'ils expirent prématurément s'ils ne semblent pas converger, dans l'espoir de pousser nos recherches vers des chemins plus susceptibles de converger bientôt. EightBitModified n'est qu'à quelques milliers de minutes de l'achèvement !
- Les progrès de DS3 approchent de l'étape 2, 1 000 x 100 .. 100 000 réseaux DS3 formés. Cela aidera certainement à notre analyse continue. C'est agréable de voir le tableau de bord en bas de https://www.mlcathome.org/ passer du jaune au vert !
- En analysant les données DS3 jusqu'à présent, nous avons découvert que l'ensemble de données lui-même est très volumineux (environ 100 Go pour seulement 500 x 100). Cela ralentit quelque peu l'analyse, mais c'est un bon problème à avoir. Nous pouvons réduire cela de manière significative dans une version, mais parfois traiter autant de données prend juste du temps.
- Nous avons créé les ensembles de données DS1-100, DS1-500, DS1-1000, DS2-100, DS3-100, DS3-500 en interne, et les nettoyons et analysons les résultats. Nous espérons avoir quelques résultats (préliminaires) à partager avec la communauté, comme nous l'avons déjà publié, d'ici quelques jours.
Instantané de l' état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
* Tâches prêtes à envoyer : 45843
* Tâches en cours : 18569
- Utilisateurs
* avec crédit : 1318
* Enregistré au cours des dernières 24 heures : 43
- Hôtes
* avec crédit récent : 2228
* Enregistré au cours des dernières 24 heures : 60
- GigaFLOPS actuel 37671.35
Progression des ensembles de données 1 et 2 :
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 1091/10005
ParityModified 391/10005
EightBitModified 7750/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModified 10002/10002
Progression des ensembles de données 3 :
Overall (so far): 82873/101488
Milestone 1, 100x100: 10000/10000
Milestone 2, 100x1000: 82873/100000
Milestone 3: 100x10000: 82873/1000000
Notes TWIM de la semaine dernière: 23 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=128)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
Pouvez-vous me confirmer que ma gts 450 n'est pas compatible avec ce projet.
Je reçois des messages me demandant de mettre a jour le pilote alors que j'ai le dernier (Nvidia 391.35)
-
Les cartes nVidia plus récentes ont le pilote 457.30.
Comme quand j'avais un GPU GT 540M, le pilote le plus récent était comme le tiens et certains projets n'acceptaient plus mon GPU !
-
Je m'en doutais, tant pis je ne ferais pas de gpu desssus
-
Et une petite 3060 ou 2060 au pied du sapin, si tu as été bien sage Non ? :D
Ce modèle n’intéresse pas les cryptomineurs ou les Écossais :lol:
-
Pas les moyens...
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=135#922
Cette semaine dans MLC@Home
Notes pour le 8 décembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Beaucoup d'analyses des résultats, d'écriture sur papier et de combats avec LaTeX cette semaine. La bonne nouvelle est que, comme publié sur Twitter, (https://twitter.com/MLCHome2/status/1334346875080761344) l'ensemble de données 3 montre des réseaux similaires se regroupant dans l'espace de pondération de la même manière que les ensembles de données 1 et 2. C'est un bon résultat et actuellement en cours de rédaction dans le cadre d'un "article sur les ensembles de données" que nous préparons lorsque nous publierons les ensembles de données au public. Nous formons actuellement notre propre classificateur de réseau de neurones pour classer quels réseaux DS3 ont été formés avec quelles données DS3 en fonction uniquement de leurs poids, et nous avons de grands espoirs de bons résultats là-bas étant donné le regroupement dans le graphique lié.
Ce fut une semaine relativement calme sur les forums, mais de grands sauts dans les progrès de WU! Nous sommes à moins de 900 réseaux pour terminer les réseaux EightBitModified pour DS2, à moins de 9000 réseaux pour terminer l'étape 2 de DS3 et à moins de 80 réseaux ParityModified pour terminer DS2-500. Merci encore à
tous nos bénévoles.
Nouvelles :
- DS1 et DS2 continuent vers l'achèvement. Il en reste moins d'un millier pour EightBitModified, ne laissant que ParityMachine / Modified pour DS1 et DS2.
- Les progrès de DS3 approchent de l'étape 2, 1 000 x 100 .. 100 000 réseaux DS3 formés. Cela aidera certainement à notre analyse continue. C'est agréable de voir le tableau de bord en bas de https://www.mlcathome.org/ passer du jaune au vert !
- Nous avons créé les ensembles de données DS1-100, DS1-500, DS1-1000, DS2-100, DS3-100, DS3-500 en interne, et les nettoyons et analysons les résultats. Nous aimerions avoir au moins DS2-500, DS2-1000 et DS3-1000 au plus vite pour notre analyse (DS2-1000 pourrait être un peu extensible).
- Une fois que le jeu de données 3 aura atteint le jalon 2 (100x10000), nous mettrons probablement DS3 en pause pour nous concentrer uniquement sur l'achèvement des WU de parité pour terminer DS1 et DS2.
- Nous n'avons pas parlé de DS4 depuis un moment, mais le travail progresse sur le client mis à jour pour gérer les CNN. Attendez-vous à ce que cela soit publié pendant ou juste après les vacances.
Instantané de l'état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
* Tâches prêtes à envoyer : 22937
* Tâches en cours : 21142
- Utilisateurs
* avec crédit : 1406
* Enregistré au cours des dernières 24 heures : 63
- Hôtes
* avec crédit récent : 2314
* Enregistré au cours des dernières 24 heures : 25
- GigaFLOPS actuel 44334.91
Progression des ensembles de données 1 et 2 :
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 1179/10005
ParityModified 428/10005
EightBitModified 9155/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModified 10002/10002
Progression des ensembles de données 3 :
Overall (so far): 91044/101488
Milestone 1, 100x100: 10000/10000
Milestone 2, 100x1000: 91044/100000
Milestone 3: 100x10000: 91044/1000000
Notes TWIM de la semaine dernière: 30 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=131)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
:jap:
-
Je n'ai plus d'erreurs gpu sur linux depuis le 19 novembre, bel effort :)
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=142
Cette semaine dans MLC@Home
Notes pour le 22 décembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Bonnes vacances de MLC!
TWIM Notes fera une pause pour les vacances, sauf s'il y a quelque chose d'urgent à mettre à jour, ce sera la dernière mise à jour pour 2020.
Quelques notes cette semaine :
* Nous sommes maintenant plus de 1 500 bénévoles indépendants!
* Nous aimerions vraiment obtenir DS2 avec un seuil de 1000 entrées pour chaque type de réseau pour l'analyse, ce qui signifie que nous avons rééquilibré certains WU pour donner la priorité aux WU à parité modifiée. À cette fin, nous avons rempli la file d'attente des tâches du GPU avec des WU ParityModified à double longueur (le crédit est double en conséquence). Cela signifie que les temps d'exécution augmenteront pour les GPU, bien qu'il y ait encore beaucoup d'anciens WUs en cours de travail, vous pouvez donc travailler plus vieux ou plus récent pendant un certain temps.
* En conséquence, nous avons rempli la file d'attente de travail du processeur avec des WU de l'ensemble de données 3 pour continuer à progresser.
* Le changement ci-dessus a conduit à deux problèmes connus qui ont été trouvés et résolus cette semaine. Premièrement, les premiers WU plus longs échouaient à la validation jusqu'au processus de validation que nous avons mis à jour, et le calcul du crédit a été désactivé pendant quelques jours (en faveur des utilisateurs). Les deux problèmes ont maintenant été corrigés, grâce à ceux qui ont signalé ces problèmes sur le forum.
* Pendant la pause, notre principal effort est de continuer à travailler sur l'analyse, la rédaction papier et la refonte de l'architecture pour simplifier la logique de validation et d'assimilation backend en arrière-plan pour aider à éviter que des problèmes comme les deux qui ont frappé cette semaine ne se produisent à l'avenir. .
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2020-12-22.png)
(https://www.mlcathome.org/status/mlds-live-status-12-22-2020.png)
Notes TWIM de la semaine dernière: 14 décembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=138)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=149#982
Cette semaine dans MLC@Home
Notes pour le 28 décembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Bonnes vacances et bonne année de la part de MLC !
Nous avons donc décidé de publier une mise à jour cette semaine de toute façon, tout d'abord, nous avons franchi l'étape 2 de l'ensemble de données 3, c'est-à-dire 1000 réseaux formés pour chacun des 100 automates générés aléatoirement! Il s'agit d'une étape importante et rend l'analyse beaucoup plus intéressante! Un autre changement important visible par l'utilisateur est que le site Web et le projet se trouvent désormais derrière un CDN. Cette énormémentréduit les besoins en bande passante sur le serveur et accélère considérablement les téléchargements des clients, et il semble y avoir peu d'effets négatifs sur le projet dans son ensemble. Si vous constatez des problèmes, veuillez les publier sur le forum afin qu'ils puissent être résolus.
Enfin, nous avons remarqué un afflux important de nouveaux bénévoles au cours de la semaine dernière. Bienvenue! Et merci de soutenir le travail scientifique que nous essayons de faire.
Plus de nouvelles ci-dessous:
* Nous travaillons sur la refonte d'une grande partie des machines en coulisse pour la validation et l'assimilation pour mettre à jour notre gestion de NaN.
* Nos WU mis à jour pour essayer de franchir le seuil de 1000 réseaux pour tous les WU DS2 semblent avoir un effet positif, avec près de 100 nouveaux réseaux terminés la semaine dernière. Nous continuerons ainsi jusqu'à ce que nous franchissions ce seuil.
* Pendant la pause, notre principal effort est de continuer à travailler sur l'analyse, la rédaction papier, une nouvelle version du client ROCM, et de continuer à préparer DS4.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2020-12-28.png)
(https://www.mlcathome.org/status/mlds-live-status-12-28-2020.png)
Notes TWIM de la semaine dernière: 22 décembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=142)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
Dommage qu'il ait pas d'appli Mac...
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=154
Cette semaine dans MLC@Home
Notes pour le 5 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Bonne année 2021 !
La semaine dernière a marqué le 6e anniversaire de ce projet, nous voulions donc revenir sur le chemin parcouru, évaluer ce qui s'est bien passé, trouver les domaines à améliorer et parler de l'avenir.
Dans l'ensemble, la réponse de la communauté a été incroyable et nous avons le sentiment d'avoir construit une base vraiment solide pour comprendre et évaluer les réseaux de neurones. Nous énumérerons certaines de nos pensées ci-dessous, et nous vous encourageons, la communauté, à commenter ci-dessous avec vos pensées.
Le bon
- Le travail réel terminé : Vous, la communauté, avez formé plus de 260 000 réseaux de neurones pour ce projet, modélisant 110 types d'automates / machines différents, et d'autres sont en préparation. Lorsque DS3 sera terminé, nous aurons plus de 1 000 000 de réseaux formés. Il s'agit vraiment d'une contribution unique à la science et constitue une base d'étude incroyable pour les années à venir. Je peux déjà voir 3 ou 4 nouvelles lignes de recherche provenant de ce seul jeu de données.
- Engagement de la communauté : Nous avons fait un effort particulier pour atteindre la communauté, avec des mises à jour hebdomadaires et en essayant d'être actif sur les forums et sur Twitter. Nous sommes un petit projet d'un petit laboratoire dans une petite école. Bien que cela puisse toujours être mieux, nous aimerions penser que cela a été un plus. De plus, nous avons reçu le soutien des développeurs BOINC et de la communauté en général via le serveur BOINCNetwork Discord et les listes de diffusion BOINC, qui ont été extrêmement utiles pour que le projet soit opérationnel en premier lieu.
- La technologie : nous tirons parti de l'infrastructure BOINC et de son fonctionnement même si nos WU sont un peu hors du commun pour elle. Nous prenons en charge 2 des trois principaux systèmes d'exploitation, sur x86 et ARM, et les GPU de NVidia et AMD. Sont-ils parfaits? à peine . Il y a beaucoup à faire et nous essayons de les améliorer. Mais pendant 6 mois, nous dirons que c'est un très bon début dans l'ensemble. Le côté serveur s'est bien déroulé, car le nouveau serveur vers lequel nous avons déménagé il y a quelques mois a été d'une réelle aide. Fait amusant, pendant les premiers mois, ce projet a été exécuté sur un vieux thinkpad .. vous vous contentez de ce que vous avez.
Domaines à améliorer :
- Publiez des articles et publiez un ensemble de données : vous méritez une publication rapide de l'ensemble de données que vous avez aidé à créer. Nous voulions vraiment que cela soit disponible maintenant, et nous estimons que nous avons maintenant suffisamment de données pour le faire. Mais il faut du temps pour écrire et du temps pour organiser / préparer / documenter l'ensemble de données pour la publication, et franchement, cela prend plus de temps que prévu. C'est sur nous, et nous y travaillons. Nous devrions envisager des jours ou des semaines, pas des mois.
- Plates - formes plus prises en charge : Nous recherchons des développeurs ayant une expérience C ++ qui peuvent nous aider à prendre en charge de nouvelles plates-formes, en particulier OSX et Android.
- Plus de collaborateurs du côté de la science : COVID a vraiment rendu cela encore plus difficile. Je vais être honnête, de nombreux chercheurs en ML à qui j'ai proposé cette idée n'étaient pas très intéressés dès le début car
a) ils étaient sceptiques quant au fait que le système fonctionnerait et / ou que les gens feraient du bénévolat,
b) nous ne soutenions pas les GPU et ou c) étaient intéressés mais n'avaient pas le temps. Maintenant que nous le faisons, et que notre réserve de bénévoles a augmenté en général, nous devons nous réengager. Les résultats publiés aideront notre cas.
- Il s'agit toujours d'une opération à une personne : si je peux me permettre une minute personnelle, la plupart de ce qui précède est dû au fait qu'il s'agit encore d'une opération à une personne pour la plupart, et à une personne qui n'est qu'un doctorant à temps partiel avec un emploi à temps plein et une famille en plus de diriger ce projet. Ce n'est pas comme si j'étais un étudiant diplômé régulier qui pouvait passer des heures par jour dans un laboratoire et écrire, que ce soit du code ou des articles. Je vole tout le temps que je peux la nuit et le week-end. Faire un doctorat à temps partiel est déjà assez difficile, choisir de créer, développer, surveiller et modérer tout un projet informatique de bénévolat en plus de cela est franchement un peu fou. Mais je suis passionné par le travail que nous faisons ici et je veux le voir réussir. Et je suis convaincu que ce sera le cas.
Remarque: j'essaie de dire «nous» lorsque j'agis en tant qu'administrateur de projet parce que je sens que finalement il y aura plus que moi, mais ce n'est pas (encore) le cas.
Ce que l'avenir nous réserve :
- MLDS : Publiez, les deux premières séries d'ensembles de données et un article ou deux. C'est notre priorité absolue.
- MLDS : DS4 passera à la formation des CNN pour la classification des images, ce qui conduira à un tout nouvel ensemble d'idées et de questions.
- Il est important que MLC se développe et continue de se développer au-delà de l'application MLDS. Par conséquent, engagez-vous avec de nouveaux chercheurs et des axes de recherche qui se prêtent à notre architecture de projet unique. La recherche d'hyperparamètres et d'architecture semble parfaitement adaptée à notre système.
Il y a beaucoup plus de choses que nous pourrions mentionner, comme les modifications apportées aux validations (certaines bonnes, certaines… sans erreur), la réalisation d'un podcast sur le projet, la générosité que nous avons reçue des autres administrateurs du projet pour nous aider à prendre pied sous nous. Et, bien sûr, des badges. En tant qu'administrateurs, nous avons beaucoup appris sur la façon de gérer un projet, et malgré quelques trébuchements, nous espérons que vous trouverez la science convaincante, le projet intéressant et la communauté accueillante.
À 6 mois, nous sommes sur le point d'obtenir de vrais résultats, qui devraient nourrir beaucoup plus de science intéressante. Merci à tous nos bénévoles pour avoir contribué à faire avancer la science de l'apprentissage automatique et nous espérons vous donner des raisons de continuer à nous soutenir pendant de nombreuses années.
Si vous avez des commentaires, veuillez les laisser dans les commentaires ci-dessous.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-01-05.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-01-05.png)
Notes TWIM de la semaine dernière: 28 décembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=149)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
Super cet admin, je suis allé le féliciter sur ton forum, surtout maintenant qu'on sait qu'il est tout seul.
Si seulement il pouvait résister, ou trouver de l'aide.
-
Je ne sais pas s'il tiendra longtemps à ce rythme !
-
C'est le même problème pour beaucoup de projets :/
-
Nouvelle appli GPU, j'ai plein de tâche, nouvelle appli dans wuprop :oki:
-
Oui, le risque de burnout est réel :electric:
-
Bonjour,
Quelle est la fréquence de mise à jour des badges ?
:kookoo:
-
1 fois par jour comme pour tout les autres :kookoo:
-
Ok.
Je viens d'avoir mon 1er MLC.
:kookoo:
-
Suite à 10 jours sans mon ordi principal, je suis en retard sur les mises-à-jour de MLC.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=158
Cette semaine dans MLC@Home
Notes pour le 18 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Après une semaine de pause, nous sommes de retour avec notre mise à jour hebdomadaire régulière. Beaucoup de temps passé à écrire, surtout ces derniers jours (long week-end aux États-Unis). Au niveau des projets, nous avons fait de réels progrès dans le nettoyage du processus de validation et d'assimilation en préparation de DS4.
Nouvelles détaillées
- L'écriture est la priorité absolue. Il serait préférable d'avoir 1000 exemples chacun pour les exemples DS1 / DS2, et nous en avons besoin d'environ 160 de plus pour ParityModified. Nous sommes proches cependant, et nous en serons peut-être plus de 1000 d'ici la semaine prochaine.
- La file d'attente modstest exécute déjà un processus de validation amélioré. Jusqu'à présent, cela se passe bien et se déploiera également dans les autres files d'attente. Il n'y a pas de changements visibles par l'utilisateur, mais de nombreux changements internes pour faciliter la maintenance et les tests.
- Peu de progrès sur le support client pour DS4, il reste partiellement implémenté mais pas encore prêt pour les tests. Mais les ensembles de données pour DS4 ont été générés il y a des semaines, avec la priorité d'écriture dernièrement par rapport à DS4.
- Nous avons envisagé de mettre à jour le client ROCm pour activer la prise en charge de POLARIS et passer à ROCm 4.0 (et éventuellement une prise en charge de NAVI), mais PyTorch ne prend pas encore en charge la version 4.0, et nous avons encore besoin d'un peu plus de temps pour passer à ROCm 3.10 pour activer la prise en charge de POLARIS .
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-01-18.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-01-18.png)
Notes TWIM de la semaine dernière: 5 janvier 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=154)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
https://www.mlcathome.org/mlcathome/forum_thread.php?id=164
Cette semaine dans MLC@Home
Notes pour le 26 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
La semaine dernière a été consacrée à la rédaction et à la préparation des ensembles de données pour la publication, donc seulement une brève mise à jour cette semaine avec les dernières statistiques.
Nouvelles détaillées
- Aucun cette semaine.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-01-26.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-01-26.png)
Notes TWIM de la semaine dernière: 18 janvier 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=158)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=171
Cette semaine dans MLC@Home
Notes pour le 8 février 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
C'est la semaine du jeu de données !
Nous avons travaillé dans les coulisses sur un papier pour l'analyse des résultats que vous, nos bénévoles, avez créés jusqu'à présent. L'article est toujours en cours, mais nous avons attendu assez longtemps pour publier les ensembles de données eux-mêmes. Au cours des prochains jours, vous verrez de plus en plus d'ensembles de données disponibles au téléchargement sur https://www.mlcathome.org/mlds.html .
Chaque archive d'ensemble de données contient un fichier README.md avec des détails sur ce qui est inclus et des informations sur la façon de l'utiliser. Chaque réseau formé se trouve dans son propre répertoire, avec à la fois la version PyTorch native du modèle enregistré, un fichier JSON contenant les poids appris et des métadonnées sur chaque réseau formé, y compris un historique de formation.
Les ensembles de données actuellement disponibles sont:
- MLDS-DS1: 100 / ea, 500 / ea, 1000 / ea. (5000 / ea et 10000 / ea en cours de calcul)
- MLDS-DS2: 100 / ea, 500 / ea, 1000 / ea. (5000 / ea et 10000 / ea toujours en cours de calcul)
- MLDS-DS3: 100 / ea (500 / ea et 1000 / ea zipping / uploading, 5000 / ea et 10000 / ea toujours en calcul)
Ces derniers ensembles de données sont si volumineux qu'ils seraient meilleurs sous forme de torrents, nous pouvons donc les rendre disponibles uniquement sous forme de torrents. Pour les chercheurs, si vous utilisez ces ensembles de données, je vous demande a) de nous le faire savoir et b) de citer notre article lorsqu'il sera disponible.
Nouvelles détaillées
- Beaucoup de bon travail sur un papier ; Restez à l'écoute du compte Twitter pour quelques graphiques et tableaux au cours de la semaine prochaine.
- La création de l'archive du jeu de données prend beaucoup de temps, en raison du grand nombre de fichiers, et la compression xz n'est pas exactement rapide. Ainsi, DS3-500 et DS3-1000 peuvent prendre un peu de temps pour être compressés / téléchargés.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-02-08.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-02-08.png)
Notes TWIM de la semaine dernière: 1er février 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=165)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
Merci encore à tous nos bénévoles !
Et merci encore au journaliste :)
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=179
Cette semaine dans MLC@Home
Notes pour le 23 février 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Une petite mise à jour cette semaine car il n'y a pas beaucoup de nouvelles dans l'ensemble. Honnêtement, votre serviteur a été un peu débordé par d'autres choses dans la vie et a dû s'occuper de certaines autres choses la semaine dernière. Donc, nous sommes de retour cette semaine, et à part une file d'attente de processeur inopinément vide pendant environ une demi-journée la semaine dernière (corrigée depuis), le projet s'est poursuivi et vous, les volontaires, avez découpé un autre gros morceau de jeux de données 1, 2 et 3.
Le document avance bien, et nous sommes enfin satisfaits des données et de l'analyse que nous souhaitons à ce stade, il ne s'agit donc que d'écrire. Certains tableaux et graphiques ont été publiés sur Twitter si vous souhaitez suivre. Honnêtement, nous sommes en retard d'environ 3 mois pour le publier au moins sur arXiv, mais nous espérons que cela en vaudra la peine. La majeure partie de ce temps a été consacrée à peaufiner les algorithmes pour obtenir de meilleurs résultats, et les ensembles de données / vecteurs de caractéristiques sont trop grands pour un GPU de 8 Go, il s'agit donc principalement de formation du processeur. 18 heures pour une époque, ce n'est pas rare. Du bon côté, ce que nous apprenons en faisant cela aidera DS4 lorsqu'il sera disponible.
Les DS3-500 et DS3-1000 sont complets et prêts à être téléchargés, mais nous décidons toujours du meilleur endroit pour héberger des fichiers aussi volumineux. L'amorçage d'un torrent sur le serveur principal réduirait la bande passante déjà limitée. Nous aurons besoin d'une meilleure solution, pour l'instant, elles existent sur un lecteur de données sauvegardé et disponibles sur demande individuelle.
Autres nouvelles
- DS4 reste en attente jusqu'à ce que le papier soit terminé.
- Nous discutons en interne d'autoriser Gridcoin à ajouter ce projet à la liste blanche. Si la communauté MLC a des opinions bien arrêtées, veuillez les publier ci-dessous. Il y a encore une ou deux choses que nous voulons changer avant cela de toute façon, mais la liste des obstacles techniques de notre côté est presque vide.
- Rappel: le client MLC est open source, et a une liste de problèmes sur gitlab (https://gitlab.com/mlcathome/mlds) . Si vous êtes un programmeur de données scientifiques et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête de modification.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-02-23.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-02-23.png)
Notes TWIM de la semaine dernière: 8 février 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=171)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...
-
quasiment tous les projets sont whitelist de LHC à Amicable en passant par Yoyo ...
-
Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...
:jap: quels sont les points négatifs et positifs de cette ouverture à Gridcoin ?
-
Bah c'est juste que j'aime pas GC et son concept, pas plus que les crypto-monnaies d'ailleurs :o après y'a ptet des gens très bien qui y participent :)
-
Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...
:jap: quels sont les points négatifs et positifs de cette ouverture à Gridcoin ?
Je pense que dès qu'il y a possibilité de gagner du fric, il commence à y avoir de la tricherie !
Je me rappelle de Collatz qui a failli capoter car des tricheurs avaient crée de fausses WUs pour être faussement rémunérées, si je me rappelle bien, ou quelque chose de ce genre.
L'administrateur avait été très courageux de tout "réparer" pour relancer le projet.
-
Oui je pense même que ça n'a pas été le seul exemple. Mais j'ai tendance à oublier les détails des choses désagréables...
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=182
Cette semaine dans MLC@Home
Notes pour le 9 mars 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Le document en cours de rédaction est en cours de révision / révision en interne. Cela prendra un tour ou deux avant de publier sur arXiv et de rechercher une conférence à soumettre. Il y a eu des résultats déroutants avec l'une des machines DS2 qui peuvent nous obliger à recalculer certains de ces WU avec des données d'entraînement mises à jour, mais ceux-ci étaient rapides à calculer et nos volontaires ne tarderont pas à les refaire si nécessaire.
Cela signifie que nous avons commencé à examiner les mises à jour des clients et DS4! Nous avons commencé ce week-end sur le client v9.90, pour lequel nous ciblons les fonctionnalités suivantes :
- Mettre à niveau vers PyTorch v1.8
- Prise en charge de DS4! .. Nos premiers réseaux CNN.
- Mise à niveau ROCm vers 4.0 / 4.0.1 (prise en charge de Polaris)
- Réexaminer les performances / l'utilisation du GPU
- Liaison statique pour au moins le client CPU (peut-être GPU aussi). Cela n'est peut-être pas possible, mais ce serait un avantage appréciable de passer à PyTorch v1.8
La grande caractéristique de conduite est la prise en charge du modèle DS4. Les données sont prêtes à être analysées, mais le modèle doit être inclus dans le client et testé.
Autres nouvelles
- Si vous souhaitez demander l'un des plus grands ensembles de données, pour le moment, veuillez nous contacter en privé et nous vous fournirons un lien de téléchargement. C'est la meilleure position de compromis jusqu'à ce que nous ayons une meilleure option.
- Nous apprécions les commentaires sur Gridcoin de notre dernière mise à jour. Nous continuons à surmonter les obstacles techniques de notre côté que nous considérons comme une exigence pour le gridcoin, mais cela contribuera également à la robustesse du projet dans son ensemble.
- Nous recherchons des exemples intéressants de problèmes qui peuvent être résolus avec des réseaux à anticipation petits à moyens pour un DS5 potentiel. Nous pourrions faire MNIST, mais peut-être que quelque chose d'un peu plus intéressant serait plus amusant. Il est très évident que le premier commentaire que nous aurons sur le papier est "pourquoi avez-vous utilisé des RNN?", Nous aimerions donc éviter cela tôt.
- Rappel: le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur de data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une pull request.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-03-09.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-03-09.png)
Notes TWIM de la semaine dernière: 23 février 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=179)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2
-
:hello:
J'avoue que je n'ai pas le temps de lire les CR hebdomadaires du projet (c'est sûrement un tort, et le tort tue - lentement, mais je ne suis pas pressée :D ), j'ai juste une question: est-il prévu de mettre en place des points de sauvegarde?
Parce qu'avec mes soucis électriques j'ai recommencé à éteindre l'ordinateur le soir avant d'aller au lit et là j'ai plusieurs MLC en cours: entre 4h46 (56%) et 12h55 (89.4%), avec une majorité autour de 9h20 pour +-80% d'avancement...
-
Ben faut faire une hibernation au lieu d'un arrêt non ? la version longue (avec sauvegarde de toute la RAM sur le disque) pas la version courte et rapide (nécessitant une alimentation constante), y'a moyen de faire ça dans windowz non ?
-
1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
-
Ça existe aussi sur Linux et surtout ça pompe moins de courant en hibernation, donc ton ordi pourrait tenir la nuit en "pause".
-
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
Hum... si tu es un minimum bricoleuse, tu peux remplacer la batterie de ton UPS par une batterie de voiture :lol:
Tu auras presque 10x plus d'autonomie... faut juste que tu aies assez de temps sans panne pour la recharger!
-
1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
Y a pas d'alarme sonore sur l'onduleur ?
-
1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
:kookoo:
Si ton onduleur est rellié au PC par USB tu peux lui faire envoyer automatiquement lors d'une coupure une commande au PC via boinccmd pour suspendre les calculs. Ça permet de gagner énormément d'autonomie. Je l'ai fait pour couper automatiquement le calcul GPU et faire redémarrer lors du retour du secteur avec mon Ellipse Max 1100 de MGE.
voir la commande --set_run_mode {always | auto | never} pour tous les calculs ou --set_gpu_mode {always | auto | never} pour les calculs GPU :
https://boinc.berkeley.edu/wiki/Boinccmd_tool (https://boinc.berkeley.edu/wiki/Boinccmd_tool)
-
Ça existe aussi sur Linux et surtout ça pompe moins de courant en hibernation, donc ton ordi pourrait tenir la nuit en "pause".
C'est le mode "Mettre en pause" dans le menu de fermeture? Faudra que je teste
Hum... si tu es un minimum bricoleuse, tu peux remplacer la batterie de ton UPS par une batterie de voiture :lol:
Tu auras presque 10x plus d'autonomie... faut juste que tu aies assez de temps sans panne pour la recharger!
:lol:
Y a pas d'alarme sonore sur l'onduleur ?
Si, mais tu connais les locaux: le bureau est au RDC et je dors à l'étage. En plus la porte du bureau est fermée normalement :spamafote:
:kookoo:
Si ton onduleur est rellié au PC par USB tu peux lui faire envoyer automatiquement lors d'une coupure une commande au PC via boinccmd pour suspendre les calculs. Ça permet de gagner énormément d'autonomie. Je l'ai fait pour couper automatiquement le calcul GPU et faire redémarrer lors du retour du secteur avec mon Ellipse Max 1100 de MGE.
voir la commande --set_run_mode {always | auto | never} pour tous les calculs ou --set_gpu_mode {always | auto | never} pour les calculs GPU :
https://boinc.berkeley.edu/wiki/Boinccmd_tool (https://boinc.berkeley.edu/wiki/Boinccmd_tool)
C'est configuré dans les préférences du BM: pas de calcul si ordi sur batterie. L'onduleur est bien relié au PC pour l'éteindre proprement quand la batterie atteint 20% de charge ;) Mais ça ne résout pas le problème des tâches sans point de sauvegarde :spamafote:
-
Si l'ordi est sur onduleur je suppose que pour lui c'est comme être sur secteur, il voit pas la différence, et donc boinc se mettra jamais en veille...
Et c'est sûr que la conso boinc ON/OFF est pas exactement la même :)
Sinon linux connait suspend et hibernation, mais visiblement c'est pas toujours très évident (https://www.linuxquestions.org/questions/debian-26/debian-buster-hibernation-on-several-laptops-4175654626/)...
-
Si si, il sait qu'il est sur batterie: il m'affiche une icône dans la barre de tâche et un message "l'onduleur se décharge" quand le courant se coupe.
Pour l'hibernation, je verrai ça quand j'aurai un moment (un soir du WE à venir avec un peu de chance :D )
-
C'est pour Arch, mais avec un assez gros fichier (ou disque) de swap :
Suspend to disk method saves the machine's state into swap space and completely powers off the machine. When the machine is powered on, the state is restored. Until then, there is zero power consumption.
Source wiki Arch (https://wiki.archlinux.org/index.php/Power_management/Suspend_and_hibernate)
-
Merci pour le lien Maeda :jap:
Lirai ça à tête reposée.
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=189
Cette semaine dans MLC@Home
Notes pour le 8 avril 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Beaucoup de choses se passent dans les coulisses ces dernières semaines. Tout d'abord, le serveur Discord est opérationnel, avec de belles discussions à partir de là. Nous avons également progressé sur la prochaine version du client, en faisant fonctionner les versions statiques pour les clients CPU sur amd64, armv7 et aarch64. Nous avons également commencé à travailler sur DS4, comme nous en avons parlé dans le dernier article de presse.
La grande nouvelle cette semaine est que l'atelier BOINC 2021 se déroule la semaine prochaine, le mercredi 14 avril, et MLC @ Home présentera à 14 h 10, heure de l'Est. Vous pouvez voir l'ordre du jour et plus d'informations sur le site Web principal (https://www.boincworkshop.org/) ou sur notre fil de discussion (https://www.mlcathome.org/mlcathome/forum_thread.php?id=187) local.
Nous avons de grands projets pour nos 15 minutes d'intervention. Nous considérons que c'est notre chance de présenter ce projet à un public beaucoup plus large. Non seulement nous donnerons une introduction à la science, mais nous publierons également le document sur arXiv mercredi et parlerons de certains des résultats, ainsi que de nos projets pour l'avenir. Rien de tout cela ne sera une surprise pour les gens ici, mais ceux qui ne suivent pas le projet auront la chance d'entendre ce que nous faisons et de nous juger sur nos mérites. La présentation sera enregistrée et publiée sur youtube et ici.
J'ai vraiment hâte de mercredi et j'espère que vous serez nombreux à nous rejoindre !
Autres nouvelles
- Beaucoup de progrès sur DS3. Des progrès fantastiques, nous entrons dans la dernière ligne droite pour cela.
- Le serveur Discord a des robots pour publier lorsque de nouveaux fils de discussion sont créés et surveillés
- Aucune mise à jour sur le support Gridcoin.
- Rappel : le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur de data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une pull request.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-04-08.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-04-08.png)
Notes TWIM de la semaine dernière: 23 mars 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=184)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2
-
:hello:
Au sujet de ce projet, quelqu'un maitrise ?
Sur GPU (nVidia) environ 12 à 13 % de charge (GTX1080)
Et surtout durée de calcul idem CPU, donc très très long.
Au vu des stats de certains, il doit y avoir des app 'améliorées', mais où ?
:jap: :hello:
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=192
Cette semaine dans MLC@Home
Notes pour le 22 avril 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Ces dernières semaines ont été très chargées pour MLC@Home !
Le 14/04/2021, MLC a fait une présentation à l'atelier BOINC 2021. Les diapositives sont disponibles ici (https://www.mlcathome.org/analysis/mlcathome-boinc-workshop-2021-presentation.pdf). La vidéo de la présentation sera publiée sous peu sur Youtube (https://www.youtube.com/channel/UC1YM32SpdGnb1S5b5gUJPyQ). Le 21/04/2021, nous avons participé au deuxième jour de l'atelier en tant que membre d'un panel sur la pratique de l'IA (intelligence artificielle) / ML (Machine Learning) en utilisant BOINC. Des vidéos à ce sujet devraient également être publiées sous peu. Il était clair que l'utilisation de BOINC pour IA / ML suscitait beaucoup d'intérêt, et il est également clair que MLC est à la pointe de cet intérêt.
Plus important encore, MLC@Home a publié aujourd'hui le premier article basé sur le jeu de données MLDS calculé par nos bénévoles !
MLDS: un ensemble de données pour l'analyse de l'espace de poids des réseaux de neurones (https://arxiv.org/abs/2104.10555)
Dans cet article, nous montrons un regroupement significatif dans l'espace de poids pour les réseaux qui sont formés sur les mêmes données. Comme toute bonne science, ces résultats préliminaires déclenchent autant de nouvelles questions que de réponses.
Dans l'ensemble, alors que nous continuons à travailler sur DS4, il y a beaucoup de grandes choses en cours pour l'avenir de MLC. Merci encore pour le soutien que vous avez montré à MLC, et nous espérons continuer à gagner votre soutien à mesure que nous avançons.
Autres nouvelles
- Beaucoup de progrès sur DS3, nous avons terminés à 75%. C'est agréable de voir du vert apparaître sur le tableau de bord.
- Nous avons commencé à diffuser en direct certaines sessions de codage sur le serveur Discord alors que nous travaillons sur la prise en charge de DS4.
- Rappel : le client MLC est open source et a une liste de questions/problèmes sur gitlab (https://gitlab.com/mlcathome/mlds). Si vous êtes un programmeur ou un spécialiste des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-04-22.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-04-22.png)
Notes TWIM de la semaine dernière: 8 mars 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=189)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2
-
Super ce projet comment il est animé et comment il communique quand même ! Un cas d'école !!
Merci Franky, vas-y, etc. :D
-
Super ce projet comment il est animé et comment il communique quand même ! Un cas d'école !!
Merci Franky, vas-y, etc. :D
:+1:
-
J'ai un problème avec ce projet quand le crunche en GPU. Mes tâches ne se terminent jamais. Testé avec des cartes de générations différentes GTX1650 et RTX3090. A chaque fois je suis obliger de les abandonner.
Tout va bien en CPU.
Suis-je le seul ?
Avez-vous une idée ?
Kali.
-
C'est récent ? Il y a une semaine j'en ai crunché sans problème avec une GTX1660
-
:kookoo:
Je n'en fais lus depuis 15 jours passage sur PG et SRBase) mais je crunche en GPU sur MLC sans problème avec une GTX 1050 et une GTX 1650
A l'occasion je testerais de nouveau pour voir ce que cela donne
:kookoo:
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=199
Cette semaine dans MLC@Home
Notes pour le 1er mai 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home
Résumé
Une mise à jour attendue cette semaine.
Tout d'abord, nous avons eu un petit problème de serveur ce matin, 1er mai, et nous sommes restés en panne pendant environ 10 heures jusqu'à ce qu'il soit résolu. Aucune donnée n'a été perdue et nous avons pu redémarrer sans autre problème, bien que certaines UT aient pu être marqués comme invalides en raison de l'état instable du système lors de sa panne, nous examinons cela pour le moment. C'est le premier temps d'arrêt imprévu depuis longtemps. Heureusement, nous avons été très stables depuis le passage au nouveau serveur l'année dernière.
Deuxièmement, grâce à un utilisateur astucieux, nous avons remarqué une tendance dans les nouvelles distributions Linux qui affectent les clients MLC (ainsi que d'autres comme Einstein@Home et LHC). Certaines distributions utilisent les capacités de sandboxing de systemd pour empêcher le client BOINC et toutes les applications de projet d'interagir avec le reste du système pour des raisons de sécurité. Malheureusement, les clients basés sur appimage de MLC utilisent / tmp, qui est maintenant limité dans le cadre de cette nouvelle politique. Nous avons identifié cela comme un problème avec Ubuntu 21.04 et Gentoo, et peut devenir un problème plus tard pour d'autres distributions basées sur systemd. Pour l'instant, une solution de contournement est répertoriée dans nos forums https://www.mlcathome.org/mlcathome/forum_thread.php?id=198 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=198) . La prochaine mise à jour du client supprimera le support appimage et ne sera donc pas affectée par le problème à l'avenir.
Nous avons également passé du temps à travailler sur le client ROCm et à le faire fonctionner avec Radeon VII ainsi qu'avec la carte graphique VEGA. Malheureusement, le client actuel vous oblige à installer rocm-3.9.0 sur votre système.
En parlant de la prochaine version du client, le support DS4 est implémenté et fonctionne, nous espérons donc déployer le nouveau client CPU avec quelques UT de test la semaine prochaine. Les fonctionnalités incluent la prise en charge de CNN (DS4), la liaison statique, (plus d'appimage!), Et quelques corrections mineures.
Autres nouvelles
- Beaucoup de progrès sur DS3, nous avons terminé à environ 80%. C'est agréable de voir du vert apparaître sur le tableau de bord.
- Nous avons participé aux semaines 2 et 3 de l'atelier BOINC, et nous attendons avec impatience que l'atelier publie les vidéos bientôt.
- Nous recherchons des conférences / ateliers pour soumettre notre article publié.
- Rappel : le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-05-01.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-05-01.png)
Notes TWIM de la semaine dernière: 22 avril 2021 (https://forum.boinc-af.org/index.php/topic,8332.msg515238.html#msg515238)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2
-
New client testing has started
https://www.mlcathome.org/mlcathome/forum_thread.php?id=201&postid=1198 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=201&postid=1198)
Nous avons publié une nouvelle version du client CPU linux (avec support DS4) dans le canal mldstest.
C'est le plus grand changement dans la façon dont le client est construit et exécuté depuis le début du projet, donc nous nous attendons à un peu de chaos. Nous avons déjà rencontré un problème où l'application fonctionne bien en mode autonome, mais se bloque lors du chargement du jeu de données lorsqu'elle est exécutée sous le client boinc. Il faut donc s'attendre à des problèmes sur le canal de test au cours des prochains jours, le temps que nous résolvions ces problèmes.
Voici les changements significatifs :
* Support DS4 (CNN)
* Plus d'appimage, à la place nous avons un binaire lié statiquement. Donc un seul fichier à télécharger
* Testé en standalone pour fonctionner sur CentOS 7 (nouveau), ubuntu 21.04, 20.04, 16.04, et debian 10 et 11, sur AMD et Intel.
* Compile HDF5, OpenBLAS, et PyTorch directement dans le binaire.
* Mise à jour vers PyTorch v1.8.
Et beaucoup d'autres petites corrections/changements pour supporter DS4. Cela devrait nous permettre d'être prêts pour de nombreux mois à venir, alors s'il vous plaît soyez indulgents avec nous pendant que nous réglons les problèmes maintenant.
Les clients GPU, Windows et ARM suivront dès que le client CPU linux de base fonctionnera.
Traduit avec www.DeepL.com/Translator (version gratuite)
-
:/
17 May 2021, 4:45:53 UTC 17 May 2021, 4:47:25 UTC Erreur lors des calculs 4.19 0.00 --- Machine Learning Dataset Generator (test) v9.89
x86_64-pc-linux-gnu
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=203
Cette semaine Ce mois-ci dans MLC@Home
Notes pour le 8 juin 2021
Un résumé mensuel des nouvelles et des notes pour MLC@Home
Résumé
Les mises à jour sont arrivées lentement ces derniers mois, depuis la présentation à l'atelier BOINC et la publication de notre article initial, alors que nous ajustons personnellement (heureusement !) les débuts d'une vie post-pandémique. Le travail, la vie de famille et tout change pour beaucoup d'entre nous, et nous essayons toujours de comprendre la nouvelle normalité. Pour cette raison, à l'avenir, ces mises à jour seront mensuelles car elles prennent un peu de temps à assembler et nous ne parvenons pas à les sortir chaque semaine depuis un certain temps maintenant de toute façon. Et voici en espérant que tous nos volontaires du monde entier se trouvent dans une zone où eux aussi peuvent commencer à dépasser le pire de la pandémie.
Mais cela ne veut pas dire que le projet est en sommeil !
DS1/DS2/DS3 sont tous en voie d'achèvement, en particulier DS3 qui se situe à 97%. Nous parlons de DS4 depuis des mois et le code est prêt pour des tests plus importants. Malheureusement, nous avons déployé un client de test il y a quelques semaines qui a lamentablement échoué, en raison d'une incompatibilité entre PyTorch et l'API BOINC native. il existe un moyen de contourner cela, mais cela nécessite plus de développement et un changement dans la façon dont les UT sont spécifiées, et nous y travaillons depuis. Nous devrions être prêts d'un jour à l'autre, mais cela a été plus compliqué que nous ne le pensions donc nous ne pouvons pas vous donner de délai. Mais nous savons que nous devons l'avoir disponible dès que les UT DS3 seront épuisées.
Certains des autres avantages du nouveau client sont qu'il est lié de manière statique, ce qui simplifie considérablement le déploiement. Le temps de développement supplémentaire nous a également permis d'apporter un changement pour nous rendre plus robustes aux NaN, ce qui devrait réduire le nombre d'erreurs de validation sur le système.
Un autre nouveau problème est que la partition de données manque d'espace sur le serveur. DS3 prend le contrôle de 4 To ! Merci à tous nos bénévoles ! Nous avons déplacé certaines choses pour faire un peu d'espace afin que tout fonctionne encore pour le moment. Nous avons reçu un nouveau stockage aujourd'hui et nous aurons besoin d'un temps d'arrêt pour l'installer. Cela ne devrait pas prendre plus de quelques minutes, nous allons donc le faire dans le courant de la semaine prochaine.
Alors, restez à l'écoute, le mois prochain sera intéressant pour MLC@Home.
Autres nouvelles
- DS1/DS2 continue à un rythme lent. Il continuera en arrière-plan jusqu'à ce que nous ayons 10 000 échantillons de chaque.
- Nous travaillons à maintenir le document à jour et à l'étoffer un peu plus.
- Nous envisageons également un ensemble de travaux légèrement nouveau au-delà de la génération d'ensembles de données, donc j'espère que MLDS ne sera pas le seul projet à l'avenir.
- Rappel : le client MLC est open source, et dispose d'une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un scientifique des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une demande d'extraction.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-06-08.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-06-08.png)
Notes TWIM de la semaine dernière: 1er mai 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=199)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2
-
:jap:
-
https://www.mlcathome.org/mlcathome/forum_thread.php?id=212
Ce mois-ci dans MLC@Home
Notes pour le 1er juillet 2021
Un résumé mensuel des nouvelles et des notes pour MLC@Home
Résumé
Joyeux premier anniversaire à MLC@Home ! Ce projet a été mis en ligne le 1er juillet 2020 et a fait son chemin assez rapidement dans la communauté BOINC. Nous sommes restés concentrés sur notre objectif, qui est d'ouvrir la boîte noire des réseaux de neurones pour expliquer pourquoi ils font les choix qu'ils font. C'est tellement important que l'apprentissage automatique imprègne de plus en plus notre vie quotidienne ; des voitures autonomes aux décisions bancaires et aux diagnostics médicaux. Nous avons besoin de recherches pour comprendre comment éviter les biais de ces systèmes.
Nous sommes également le premier, et à ce jour le seul, projet public BOINC axé sur l'apprentissage automatique. Cela signifie que bien que nous puissions tirer parti du cadre BOINC pour la gestion des tâches, nous devons créer la plupart de l'infrastructure client ML à partir de zéro. Cela n'a pas toujours été facile, mais nous avons accompli tant de choses au cours de la dernière année malgré tout.
Au cours de la dernière année, nous avons :
- Contributions reçues de plus de 2500+ bénévoles et de 9200+ hôtes
- Traitement de plus de 3,4 millions d' unités de travail BOINC
- Formation de plus de 1,1 million de réseaux de neurones pour l'analyse de 3 ensembles de données différents, les plus grands ensembles de données de leur genre
- Généré plus de 4,3 To de données pour l'analyse
- Publication d'un article académique (d'autres à venir..)
- Présenté au Workshop BOINC 2021
- Publication de 47 versions client ciblant 3 architectures CPU différentes, 2 architectures GPU et plusieurs versions de Windows et Linux.
- Dépassé le serveur initial au cours des premiers mois !
Je suis submergé par notre communauté et ce que nous avons accompli ensemble. Nous avons déjà montré que les réseaux entraînés avec les mêmes données se regroupent dans l'espace de poids, malgré le caractère aléatoire associé à l'entraînement des réseaux de neurones. Nous avons également montré que nous pouvons utiliser ce clustering pour détecter les réseaux formés avec des données empoisonnées par rapport à des données propres, une découverte importante sur le terrain.
Mais il y a encore tellement à faire ! Alors que nous voulons reconnaître et célébrer ce que nous avons accompli ensemble jusqu'à présent, regardons également vers l'avenir et fixons-nous quelques objectifs lâches pour la prochaine année de MLC@Home :
- MLDS continuera à court terme !
DS4 est (presque) prêt et étend l'ensemble de données pour inclure les types de réseau CNN ainsi que les RNN utilisés dans DS1-3. DS5 variera probablement légèrement la forme et la taille de chaque réseau pour voir si le clustering se produit toujours lorsque la forme varie. Le futur travail MLDS au-delà de DS5 est à déterminer, mais nous nous attendons à ce qu'il y ait beaucoup de WU DS4/DS5 pendant de nombreux mois à venir. Nous prévoyons de mettre à jour le document avec les dernières séries au cours du mois prochain.
- Nous aimerions nous développer au-delà du MLDS !
Nous sommes le premier projet à faire du ML à l'échelle de BOINC. Nous aimerions nous étendre pour soutenir d'autres domaines de recherche et nous engager à mettre en ligne au moins un autre projet de ML au cours de la prochaine année. Veuillez nous contacter si vous êtes un chercheur intéressé à travailler avec la plateforme !
- Nous devons améliorer l'aspect technique du projet
Du client prenant en charge les GPU AMD et OSX à l'optimisation de l'utilisation des cartes graphiques à un meilleur processus de validation pour les WU, il existe une longue liste de problèmes techniques que nous aimerions résoudre, et que nous n'avons pas fait si efficacement au cours des trois derniers mois. Nous arrivons également à des cas particuliers de la pile logicielle BOINC qui sont difficiles à contourner. Si vous êtes un développeur et que vous souhaitez aider, nous serions heureux de recevoir votre assistance.
- Nous aimerions améliorer la sensibilisation
Pour impliquer davantage de personnes, nous aimerions produire quelques courtes vidéos sur le projet, ce que nous avons trouvé et comment les autres peuvent aider. Ceux-ci doivent être courts, facilement accessibles et faciles à partager. Nous aimerions en produire au moins un dans les 6 prochains mois.
Ce sont des objectifs lâches mais qui devraient vous donner une idée de ce sur quoi nous concentrons nos efforts pour l'année prochaine. Si vous avez d'autres idées, veuillez les partager ci-dessous ou sur Discord.
Merci encore pour votre soutien à MLC@Home, et voici encore de nombreuses années de recherche fructueuse et importante dans un domaine important.
Autres nouvelles
- DS3 est presque complet (juste quelques 130+ derniers ruissellements !). Je considère DS3 comme l'ensemble de données le plus important et j'ai hâte d'effectuer notre analyse sur l'ensemble !
- À partir de maintenant, nous allons exploser les WU DS1 (puis DS2) dans les files d'attente GPU et CPU jusqu'à ce que cela se termine et/ou jusqu'à ce que DS4 soit prêt. Nous essaierons de les faire franchir le pas dès que possible.
- Quelques nouvelles amusantes! Tankbuster, utilisateur de MLC Discord, a mis à jour le graphique de notre bannière ! Voir la bannière mise à jour sur les pages du projet et d'accueil !
- Encore plus excitant, Tankbuster a créé un prototype d'application graphique pour MLC@Home ! Vous pouvez voir des maquettes et des vidéos et suivre la discussion sur le serveur MLC Discord (lien en bas).
(https://www.mlcathome.org/analysis/mlcgraphics.png)
- Rappel : le client MLC est open source, et dispose d'une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un scientifique des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une demande d'extraction.
Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-07-01.png)
(https://www.mlcathome.org/status/mlds-live-status-2021-07-01.png)
Notes TWIM de la semaine dernière: 8 juin 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=203)
Merci encore à tous nos bénévoles !
- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2
-
Très honnêtement celui-ci mérite amplement un article portail !
Merci Franky !
-
Très honnêtement celui-ci mérite amplement un article portail !
Je veux bien mais il n'y a pas, sur le portail, de rubrique dans les actualités hors astronomie, biologie, écologie, mathématiques, physique-chimie.
Et celui-ci ne rentre dans aucune des catégories.
Il faudrait créer une rubrique "autres projets" ou "multi-catégories", peut-être !?
[pour WCG, qui est multi-projets, il y a des projets biologie et écologie, où je poste des traductions d'articles...]
-
Ben c'est comme sur le fofo non ? ici on est dans multi-catégorie présentement tout de suite, donc je suggère de faire pareil :)
-
Ben non, ce n'est pas tout à fait pareil...
Je peux créer des articles mais je ne peux pas créer une rubrique/sous-menu !
-
Ah j'avais pas compris que y'avait pas de catégorie multi-catégorie en effet ! bon soit tu peux / sais la créer, et/ou tu sais qui peut / sait le faire, soit à court-terme tu publies dans maths par exemple ? mieux que rien.
-
Donc du coup tu veux pas publier ta super traduction ?
-
A vrai dire, je l'avais "un peu" oubliée... :desole:
Je verrai ça demain (je suis absent aujourd'hui).
-
Finalement, j'ai pu le "copier" ce soir et le mettre (en page d'accueil) sur le portail :
https://www.boinc-af.org/mlc-home-mise-%C3%A0-jour-de-juillet.html
:coffeetime:
-
:jap:
Petite erreur de frappe ici :
Publication de 47 versions client ciblant 3 architectures CPU différentes, 2 architectures GPU et plusieurs versions de Windows et Liunx.
-
:jap:
Petite erreur de frappe ici :
Publication de 47 versions client ciblant 3 architectures CPU différentes, 2 architectures GPU et plusieurs versions de Windows et Liunx.
Mais non, c'est un nouvel OS : Liunx ! :lol:
... corrigé :coffeetime:
-
Liunx, l'OS des lionx !
:jap:
-
samedi 28 août 2021 07:13
En début de semaine, nous avons publié la dernière version 9.90 du client CPU après presque 3 semaines de tests.
Alors qu'il semblait initialement fonctionner correctement, un certain nombre d'erreurs ont commencé à s'accumuler au cours des dernières 24 heures.
Nous avons identifié un problème de configuration du serveur et nous pensons qu'il est maintenant résolu à partir de 6h UTC aujourd'hui. Le serveur générait des WUs invalides pour la file d'attente MLDS. Nous avons annulé tous les WUs problématiques et nous en ajoutons de nouvelles à la file d'attente principale. Les clients GPU et la file d'attente MLDSTEST
n'ont pas été affectés.
La v9.90 est une version importante pour MLDS, car elle contient le support pour les CNNs et les types de réseaux Dense feed forward nécessaires pour DS4.
Les points forts incluent :
- Binaire lié statiquement pour Linux (plus de AppImage)
- Support de DS4 ! (réseaux CNN et Dense)
- Meilleure gestion des NaN
- Mise à jour vers libTorch 1.9
- Wrapper au lieu de l'API native de BOINC
Nous nous excusons pour le déploiement cahotique, mais si vous avez eu des problèmes avec des erreurs de calculs plus tôt cette semaine, s'il vous plaît réessayer à votre meilleure convenance, et de poster tous les problèmes sur nos forums ou notre serveur Discord.
-
Je passe par ici pour savoir si certains de nos crunchers fous avaient optimisés les WU de MLC ?
Si oui je suis preneur des infos.
-
Chez moi MLC ne marche pas sur mes GPU ;(
Je peux en faire uniquement sur les CPU mais c'est hyper long.
Kali.
-
Je passe par ici pour savoir si certains de nos crunchers fous avaient optimisés les WU de MLC ?
Si oui je suis preneur des infos.
Non, pas d'optimisation, à ma connaissance, sauf à calculer plusieurs UT en même temps.
Une seule unité occupe environ 50% de ma GTX 1060, ce qui m'arrange car c'est la carte qui me sert également pour l'affichage qui reste fluide.
-
Chez moi MLC ne marche pas sur mes GPU ;(
Je peux en faire uniquement sur les CPU mais c'est hyper long.
Kali.
Idem sur ma 3060 Cela n'avance plus au bout de quelques% Quand j'ai supprimé la tache il annonçait 138 jours pour finir Alors j'ai euthanasié l'UT
Pas testé sur ma 1660
-
Chez moi MLC ne marche pas sur mes GPU ;(
Je peux en faire uniquement sur les CPU mais c'est hyper long.
Kali.
Idem sur ma 3060 Cela n'avance plus au bout de quelques%
Pas testé sur ma 1660
Ça avance, juste lentement, et ça utilise plus souvent le CPU que le GPU même sur les tasks GPU :')
-
Hello :hello:
Petite question : je fais tourner MLC sur 2 portables.
1 x GTX 1060
1 x RTX 3080
Et la plus rapide des deux est la GTX 1060 :priz2tet:
Quelqu'un a une idée ?
Merci :jap:
-
J'ai le même problème sur ma 3060 Ti. J'ai supprimé car il affichait 138 jours pour finir.
Sur ma 1660 ti cela roule.
:??:
Je n'ai pas mis de app-config maison.
-
Moi, pour mes RTX 2080 Ti, j'avais mis ça en app_config et cela fonctionnait bien, mais je n'ai pas refait d'essai depuis.
Si ça déconne chez-vous, peut-être ont-ils changé un truc ?
<app_config>
<app>
<name>mlds-gpu</name>
<gpu_versions>
<gpu_usage>0.333</gpu_usage>
<cpu_usage>1</cpu_usage>
</gpu_versions>
</app>
</app_config>
-
Aujourd'hui, j'ai un taux très élevé d'erreurs sur ce projet MLC (je ne fais que du CPU en ce moment).
Je suis le seul ou alors chez vous aussi, ça déconne ?
:??:
-
Mes stats :)
Tous (798) · En cours (0) · Validation en attente (0) · Validation non concluante (0) · Valide (702) · Invalide (26) · Erreur (70)
-
:kookoo:
Pour moi, 1 ut sur 10 est invalide ou en erreur, comme d'hab. Uniquement en GPU.
-
OK, vu.
Merci à vous.
Machine plantée ce matin, donc un autre truc couvait !
Mais ça a l'air OK pour cette journée.
-
Depuis quelques semaines, plus d'erreur, projet qui tourne impeccable sur CPU.
Les calculs en GPU me semblent non rentables !
Si quelqu'un est sur ce projet en CPU, peut-il m'annoncer son temps de calcul pour une UT ?
Pour moi, c'est hyper stable : je suis à 4040 secondes par UT, mais quand je vais relancer le projet QChemPedIA (20 UTs sur 128 possibles), je vais passer à nouveau à 5000 secondes par UT MLC.
Mais attention, je ne dois lancer que 20 UTs MLC en parallèle.
Si j'en lance 40 ou plus, le temps de calcul d'une UT passe à 11000 secondes, ce qui anéantit tout le gain qu'il devrait y avoir et surtout, ce qui mobilise beaucoup d'UTs qui peuvent cruncher pour un autre projet, surtout NumberFields qui n'a quasiment aucun "effet d'écran" sur les autres projets !
Je pense que tout cela s'explique avec des histoires de cash de différents niveaux et NumberFields étant très peu gourmand en mémoire, on devine la suite.
C'est compliqué de cruncher si on veut optimiser !
-
Malalatêteu.
-
Spring 2022 MLC Project Update: DS2 Complete edition!
https://www.mlcathome.org/mlcathome/forum_thread.php?id=267&postid=1492 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=267&postid=1492)
Cela fait un moment que nous n'avons pas posté de mise à jour, mais cela ne veut pas dire que le projet est resté inactif ! Si vous avez suivi notre serveur Discord, vous savez que nous avons continué à progresser, et grâce à nos bénévoles, aujourd'hui est un jour de fête !
Voici un résumé de l'état actuel du projet :
Résumé
Le calcul de DS2 est terminé ! Au 1er avril 2022, nous avons enfin franchi le seuil des 10 000 réseaux formés pour ParityModified, achevant ainsi notre calcul pour DS2. Cela a pris beaucoup de temps, et l'ensemble complet de données devrait aider les chercheurs à comprendre comment les réseaux neuronaux encodent les données.
Tous les tarballs DS1/DS2 peuvent être téléchargés à partir de https://www.mlcathome.org/mlds.html. C'est votre travail, et maintenant il est libre pour vous ou n'importe qui d'autre de l'étudier et de le développer !
Les archives de DS3 sont toujours en attente. Les calculs pour DS3 ont été achevés l'année dernière, mais nous n'avons pas encore téléchargé les ensembles de données complets sur le site Web. Nous nous sommes concentrés sur l'analyse, et la taille même de l'ensemble de données peut causer des maux de tête, rendant l'empaquetage une tâche fastidieuse. Nous les publierons ici dès qu'ils seront disponibles.
Les WUs de DS4 sont sortis ! Les WUs DS4 sont sorties pour notre client CPU, et les progrès ont commencé là. DS4 est beaucoup plus compliqué à gérer en arrière-plan parce qu'il a plusieurs ensembles de formation qui ont des exigences différentes, mais nous poussons de nouvelles WUs aussi vite que nous le pouvons.
Nous mettons en pause les WUs GPU : Cela nous attriste, mais nous n'avons pas réussi à mettre à jour nos clients GPU pour prendre en charge les WU DS4. Et comme nous nous concentrons sur l'analyse des résultats que nous avons, nous avons de moins en moins de temps pour nous concentrer sur le développement de clients autres que le client CPU. Lorsque la file d'attente GPU actuelle sera épuisée, nous n'enverrons plus de travail GPU jusqu'à ce que nous ayons le temps de redonner la priorité au portage d'un client GPU. La maintenance d'un client GPU a pris beaucoup plus de temps et d'efforts que prévu, et à moins que nous puissions obtenir une aide extérieure, cela restera une faible priorité pour le moment. Nous apprécions vraiment nos volontaires GPU, mais pour le moment nous n'avons pas de travail à envoyer, et nous vous encourageons à tourner votre matériel pour soutenir d'autres projets valables qui peuvent supporter votre matériel !
Nous explorons le portage du client CPU vers Rust. De plus, notre dépendance à PyTorch est devenue plus une entrave à la portabilité qu'un atout. Bien que l'écosystème des réseaux neuronaux dans Rust soit loin d'être aussi robuste, la capacité de Rust à compiler un binaire statique ciblant un grand nombre d'architectures et de systèmes d'exploitation est très attrayante pour la portabilité. En tant que tel, nous cherchons à porter notre client MLC CPU en pur rust, avec une option pour supporter les GPUs à partir de la même base de code dans le futur. Si vous connaissez Rust et êtes intéressé, veuillez contacter les administrateurs de MLC.
Veuillez noter qu'il y a encore des WUs DS2 dans la file d'attente de travail, nous vous demandons de continuer à les écraser, car il est toujours préférable d'avoir plus d'échantillons en réserve. Cependant, nous ne prévoyons pas de mettre en file d'attente d'autres UWs DS1/2/3, et toutes les nouvelles UWs ajoutées seront DS4 ou plus. Ceci s'applique également à la file d'attente des GPU.
Nous sommes très enthousiastes quant aux WUs DS4 à venir, et cela devrait nous aider à démontrer notre théorie selon laquelle des réseaux similaires se regroupent dans l'espace des paramètres à la fois dans les réseaux feed forward et CNN, ainsi que dans les RNN utilisés dans DS1/2/3. Au-delà de DS4, nous avons quelques idées mais rien de concret pour le moment. Nous vous tiendrons informés au fur et à mesure que nous avancerons.
Merci encore à tous nos bénévoles qui soutiennent le projet et aident la science.
Traduit avec www.DeepL.com/Translator (version gratuite)
-
Publié.
-
Publié également sur la page Facebook
https://www.facebook.com/permalink.php?story_fbid=4990161004432236&id=334052630043120
Kali.
-
Ils ont pété les plombs sur MLC !
J'ai 20 UTs qui tournent en parallèle sur CPU.
La journée n'est même pas encore terminée et j'ai déjà 280000 points !
Ils surpaient à donf !!!
-
Vu qu'il n'y aura plus de tâches GPU, ils cherchent peut-être à attirer les cruncher sur CPU.
-
C'est un des vrais problème de boinc cette attribution des crédits, qui a déjà fait couler beaucoup d'encre virtuelle (notamment sur ce fofo) et jamais trouvé de solution idéale...
-
LC@Home inconsistent work generation for the next few months
https://www.mlcathome.org/mlcathome/forum_thread.php?id=269&postid=1502 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=269&postid=1502)
TL;DR : MLC entre dans une phase d'analyse, et le nouveau travail sera éclaté et incohérent pour au moins les prochains mois. Veuillez ajuster vos contributions BOINC en conséquence !
Au cours des derniers mois, nous (les administrateurs de MLC@Home) avons porté notre attention sur l'analyse des résultats fournis par nos volontaires. Avec l'achèvement de DS1/2/3, et les résultats partiels de DS4, nous sommes vraiment impatients de peaufiner certains documents et de publier certains résultats. (Dans le même ordre d'idées, attendez-vous à une annonce de la disponibilité des 5 niveaux de jeux de données de DS3 dans la journée ou demain, il ne reste plus qu'à configurer un torrent pour le jeu de données DS3-10000 de 1,3 To).
En outre, les résultats de DS4 sont plus importants que prévu et ne nécessitent pas autant de temps de calcul. Ainsi, lorsque nous publions les WU de DS4, nos volontaires les parcourent en quelques jours seulement, tout en remplissant l'espace disque du serveur. C'est un problème formidable, mais qui nous oblige à être judicieux dans l'envoi des travaux, afin de nous assurer que nous avons archivé suffisamment d'anciens résultats sur le serveur pour gérer l'afflux de nouveaux résultats.
Le résultat de tout cela est que nous n'avons pas les ressources nécessaires pour effectuer l'analyse et préparer/maintenir des unités de travail cohérentes et significatives. Ainsi, plutôt que de continuer à fournir un travail qui maintiendra le flux d'unités de travail mais qui aura moins de signification scientifique (comme la création de plus de réseaux DS3 juste pour créer un plus grand ensemble de données), nous préférons annoncer que le travail des unités de travail de MLC@Home sera incohérent au moins pour les prochains mois. Nous prévoyons de publier des lots de WUs DS4 toutes les quelques semaines, mais ce ne sera pas la disponibilité constante du travail à laquelle le projet vous a habitué ces deux dernières années. Nous sommes conscients que cela va nous faire perdre quelques volontaires, mais c'est pourquoi nous essayons d'être francs à ce sujet maintenant afin que chacun puisse décider si et comment allouer leurs contributions BOINC en conséquence. Nous espérons que vous envisagerez de laisser MLC dans votre liste de projets et que vous nous aiderez à croquer des WUs quand nous en aurons, mais nous comprendrons si vous choisissez de ne pas le faire.
Quelques points clés à noter :
Est-ce que vous fermez ? . Non, pas pour le moment. Au-delà des objectifs énoncés ci-dessus pour DS4, nous avons quelques idées sur ce que nous aimerions faire dans le futur. Mais l'administrateur principal doit passer du temps à finir sa thèse, donc ces projets seront mis en attente jusqu'à ce qu'ils soient terminés. Si ces plans ne se concrétisent pas, nous serons clairs et nous arrêterons activement le projet. Nous promettons de ne pas l'abandonner sans préavis !
Qu'en est-il de tout le travail effectué par les volontaires ? Les jeux de données DS1/DS2 sont tous disponibles au téléchargement sur https://www.mlcathome.org/mlds.html, et DS3 le sera bientôt (via torrent). Lorsque DS4 sera terminé, nous promettons de les rendre également disponibles au même endroit.
Nous espérons que cette annonce vous rassure et que nous essayons d'être de bons gestionnaires de la confiance et des ressources que vous nous accordez en tant que bénévoles de BOINC. Nous sommes vraiment excités par la science et humiliés par votre soutien depuis que nous avons commencé en juillet 2020, et nous espérons que vous comprenez alors que nous passons aux prochaines phases de notre travail. Au fur et à mesure que les choses changent, nous ferons plus d'annonces ici et sur notre Discord.
Traduit avec www.DeepL.com/Translator (version gratuite)
-
Pas très clair cette histoire, je comprends pas ce qu'ils entendent pas "génération de travail incohérent".
-
Pas très clair cette histoire, je comprends pas ce qu'ils entendent pas "génération de travail incohérent".
Je comprend : "génération de travail intermittent"
Mais je peux me tromper. :kookoo:
-
:kookoo:
Je comprends comme ça également, merci fzs. :jap:
-
:kookoo:
Je comprends comme ça également, merci fzs. :jap:
Un grand bravo pour ta première place. :jap: :jap:
-
Merci :jap:
-
DS3 Dataset of 1 million trained neural networks is available for download!
https://www.mlcathome.org/mlcathome/forum_thread.php?id=271&postid=1510 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=271&postid=1510)
Bonjour les volontaires !
Juste un petit mot pour vous dire que le jeu de données 3 est enfin disponible au téléchargement sur notre site https://www.mlcathome.org/mlds.html ! Le jeu de données 3 a été achevé il y a quelques mois, mais en raison de sa taille considérable (2,25 To en tout) et du fait que nous privilégions notre propre analyse plutôt que de mettre les résultats à disposition pour le téléchargement, il nous a fallu attendre jusqu'à maintenant pour le rendre disponible.
Pour rappel, DS3 contient plus d'un million de réseaux neuronaux entraînés (10 000/ea modélisant 100 automates différents), dans le but d'analyser comment des réseaux de même taille et de même forme encodent des données d'entraînement similaires, mais pas exactes. Attendez-vous à un article mis à jour prochainement !
Nous avons toujours pensé que si le public travaille pour ce projet, les résultats de ce travail devraient être mis à la disposition du public pour faire avancer la science. À l'heure actuelle, toutes les données DS1, DS2 et DS3 sont accessibles au public sous une licence CC-BY-SA 4.0. Nous ferons de même avec DS4 lorsqu'elle sera terminée.
DS3 est diffusé via des torrents en raison de sa taille. Quelques volontaires ont déjà téléchargé et distribué ces (très gros) fichiers, donc nous espérons que les nouveaux téléchargements seront un peu plus rapides que si nous ne faisions que servir à partir de notre serveur unique. Les fichiers torrents sont listés sur notre site web et nous utilisons le tracker Academic Torrents (voir : https://academictorrents.com/browse.php?search=mlds.
Merci encore à tous nos bénévoles ! DS3 est un véritable accomplissement !
Traduit avec www.DeepL.com/Translator (version gratuite)
-
:hyperbon: :hyperbon:
-
Transfert impossible erreur 522 !..
-
Transfert impossible erreur 522 !..
Oui depuis hier. :/
-
Le site est de nouveau accessible. :kookoo:
-
Clap de fin pour MLC@Home :(
Source : https://www.mlcathome.org/mlcathome/forum_thread.php?id=276 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=276)
MLC@Home ferme ses portes
Après plus de deux ans, des moments difficiles et le formidable soutien de nos bénévoles,
en tant qu'administrateur de MLC, je prends la décision de fermer MLC@Home en tant que projet BOINC pour le
moment.
Pourquoi?
Nous avons atteint les objectifs que je m'étais fixés (et plus !) avec 4 ensembles de données complets comprenant
des dizaines de téraoctets de données à analyser. Maintenant, nous devons nous concentrer sur l'analyse des résultats et la rédaction des articles.
En tant que chercheur, à un moment donné, vous devez arrêter de générer des données et écrire ; et mes obligations familiales, professionnelles et
scolaires ont limité le temps que je peux passer à générer de nouvelles expériences. Cette
devrait être évident car j'ai été de moins en moins réactif à la communauté au cours des 6 derniers mois,
ce dont je m'excuse. Bien que nous puissions toujours vouloir plus de n'importe quelle entreprise, je pense que nous avons accompli
beaucoup pour l'instant et que nous voulons mettre le projet en pause indéfiniment jusqu'à ce que quelque chose de nouveau se présente.
C'est le moment de célébrer tout ce que nos bénévoles ont accompli ensemble ! Cette
communauté a été incroyable entre les forums et Discord. Nous fermons nos portes non pas à cause d'un
problème, mais parce que nous avons atteint les objectifs que nous nous étions fixés . Pour cela, je ne pourrais pas être
plus reconnaissant.
Le seul aspect doux-amer de l'arrêt du projet est que j'espérais développer MLC @ Home au-delà de MLDS,
devenir une plate-forme de recherche démocratisée en apprentissage automatique. Je n'ai pas réussi à gagner du terrain auprès d'autres
chercheurs et, à ce titre, MLDS était le seul projet sur MLC@Home. COVID est en partie à blâmer[1], mais il existe un certain nombre d'autres facteurs allant de la façon dont la recherche est financée dans un domaine brûlant comme le ML à mes propres engagements
à durée limitée .
Si d'autres chercheurs expriment un intérêt, nous pourrons relancer le projet à l'avenir, mais pour l'instant
je ne peux pas justifier l'exécution du projet sans une véritable voie vers de nouveaux travaux significatifs. Ce ne serait pas juste pour
nos bénévoles.
Que se passe-t-il maintenant ?
Tout d'abord, comme promis, les ensembles de données resteront disponibles (DS4 nécessitera un peu de réflexion et de temps pour être publié, voir
ci-dessous), et le site principal MLC@Home (https://www.mlcathome.org) et le flux Twitter resteront actifs afin que je
puisse publier des mises à jour sur tous les articles et comment accéder à DS4 lorsqu'il sera disponible. Pour l'instant, aucun changement n'a été apporté
aux parties du serveur BOINC du site Web. Je devrai lire comment archiver correctement les forums,
les pages de projet et les statistiques afin qu'ils puissent rester disponibles (lecture seule) sans devenir un aimant pour le spam
et les tentatives de piratage (actuellement toutes les heures...) (soupir. ..). Je vais également supprimer la communauté Discord
au cours du mois prochain.
Pour moi personnellement, je poursuivrai mes recherches et travaillerai à la publication de résultats significatifs. je vais continuer aussi
pour soutenir d'autres projets BOINC (je contribue à BOINC depuis les jours classiques de SETI@Home)
et soutenir l'idée de l'informatique bénévole. À un moment donné, j'écrirai mon expérience en tant que chercheur
commençant un nouveau projet et le dirigeant du début à la fin ; et j'espère que ce sera une ressource pour d'autres
projets voulant démarrer. Cela a généralement été une expérience positive, mais il y a des domaines précis
à améliorer.
Pour vous, je vous encourage à continuer à soutenir d'autres grands projets BOINC avec votre temps de calcul. La
liste officielle est ici https://boinc.berkeley.edu/projects.php .
DS1/2/3 sont en téléchargement maintenant, qu'en est-il de DS4 ?
DS4 a une taille supérieure à 12 To pour la seule partie Dense. Il faudra donc encore plus de temps pour copier,
emballer, analyser et télécharger. J'ai l'intention de le faire une fois mon analyse et ma thèse terminées, ce qui devrait
être dans les 6 prochains mois. Si vous êtes un chercheur et que vous souhaitez accéder plus tôt à l'ensemble de données, veuillez
me contacter directement et nous pourrons trouver une solution.
L'idée originale de DS4 était de calculer des réseaux de neurones pour chaque type de données en utilisant des CNN denses de style
LeCun et des CNN AlexNet. Il s'avère que les réseaux LeCun sont si petits et faciles à calculer que je peux en calculer
50 000 localement sur mon poste de travail gagné en un jour ou deux, donc je n'ai pas pris la peine de les envoyer
en tant qu'unités de travail BOINC (également parce que le client actuel plante lors du calcul de LeNet5 sur certaines plates-formes,
et qu'il était plus rapide de l'ordinateur localement que de rechercher le bogue). Étant donné qu'il est discutable des
avantages scientifiques d'AlexNet (un autre CNN) sur les réseaux LeCun, je les supprimerai probablement de l'ensemble de données.
Merci
Même s'il ne se passe rien d'autre, MLC@Home a été un grand succès . Nous avons produit des ensembles de données scientifiquement
intéressants et uniques, introduit un tout nouveau type de science (apprentissage automatique) dans la
communauté BOINC et montré que la recherche en apprentissage automatique peut être menée par un groupe de volontaires sur
Internet.
Il y a quelques groupes et individus que j'aimerais particulièrement remercier pour avoir fait de ce projet un tel succès.
Ceux-ci incluent, mais ne sont pas limités à : les développeurs BOINC, en particulier Vitalii Koshura et les autres
développeurs sur le serveur BOINC Discord, pour m'avoir aidé à développer le projet dès le
début, Marcus (Delta sur les serveurs BOINC Discord) pour avoir contribué directement au logiciel de traitement backend du serveur de MLC@Home
, et qui, avec JRingo, dirigent le podcast BOINC Radio qui a
promu et soutenu MLC@Home dès le début. Mike du projet PrimeGrid pour avoir
fourni quelques premiers conseils cruciaux pour la gestion d'un nouveau projet. Je suis sûr que j'en oublie beaucoup d'autres, juste
sachez que nous, en tant que communauté, avons beaucoup à remercier pour le succès de ce projet.
J'aimerais remercier encore plus les premiers volontaires du projet qui ont contribué à faire du forum un lieu
utile et accueillant.
Merci également aux CoRaL Labs et à mon conseiller à l'UMBC pour avoir soutenu la recherche et
financé le nouveau serveur après que nous ayons rapidement dépassé notre ordinateur portable ThinkPad original de 2015.
Enfin, merci à nos plus de 4 200 bénévoles, qui ont réalisé plus de 12,5 millions d'unités de travail en utilisant plus de
17 000 hôtes . Je suis vraiment honoré par vos contributions et ce que nous avons accompli ensemble. Rien de tout cela
aurait été possible sans vous. Merci d'avoir donné une chance à un petit chercheur inconnu, et
je vous encourage à rechercher des projets plus petits à l'avenir, car leur succès aidera à déterminer
si BOINC continue de croître et de prospérer.
Je vous laisse avec une dernière capture d'écran satisfaisante du site Web :
(https://www.mlcathome.org/status/project-status-10-2-22.png)
Merci encore à tous,
pianoman
-- MLC@Home chercheur principal et administrateur :
https://www.mlcathome.org/
email : mlcathome2020@gmail.com
Twitter : @MLCHome2
-
Ah wé :/
Mais bon il a pris la peine de faire une longue explication, avec une perspective scientifique et un leg de data à la communauté, c'est quand même mieux que les petits projets boinc qui disparaissent sans laisser d'adresse !