Le Forum de l'Alliance Francophone

Boinc et les projets distribués => Multi-catégories => Discussion démarrée par: fzs600 le 01 July 2020 à 19:14

Titre: MLC@Home
Posté par: fzs600 le 01 July 2020 à 19:14
                                                                                 (https://www.mlcathome.org/mlcathome/img/mlcathome-banner.png)



Infos utiles.
Projet personnel de John Clemens : https://scholar.google.com/citations?user=kIKFod8AAAAJ&hl=en (https://scholar.google.com/citations?user=kIKFod8AAAAJ&hl=en)
MLC@Home est désormais,juillet 2020,un projet du laboratoire CORAL (The Cognition, Robotics, and Learning) de l'université du Maryland, comté de Baltimore (UMBC). https://coral-lab.umbc.edu/ (https://coral-lab.umbc.edu/)
MLC@Home est un projet de calcul distribué consacré à la compréhension et à l'interprétation de modèles d'apprentissage machine complexes, en mettant l'accent sur les réseaux de neurones.




Statut : intermittent
URL du projet : https://www.mlcathome.org/mlcathome/ (https://www.mlcathome.org/mlcathome/) 
Application disponible : https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
État du serveur : https://www.mlcathome.org/mlcathome/server_status.php (https://www.mlcathome.org/mlcathome/server_status.php)
L'alliance Francophone : https://www.mlcathome.org/mlcathome/team_display.php?teamid=4 (https://www.mlcathome.org/mlcathome/team_display.php?teamid=4)
Classement mondial de L'af : pas disponible

 





Mis a jour par fzs600 le 21 mai 2022
Titre: Re : MLC@Home
Posté par: fzs600 le 01 July 2020 à 20:43
Citer
1 Jul 2020, 16:30:38 UTC    1 Jul 2020, 18:35:18 UTC    Terminé et validé    7,435.78    7,141.05    260.00    Machine Learning Dataset Generator v0.90
x86_64-pc-linux-gnu
Citer
   1 Jul 2020, 16:30:38 UTC    1 Jul 2020, 18:38:46 UTC    Terminé et validé    7,600.80    7,310.49    260.00    Machine Learning Dataset Generator v0.90
x86_64-pc-linux-gnu
Citer
   1 Jul 2020, 16:30:38 UTC    1 Jul 2020, 18:38:46 UTC    Terminé et validé    7,646.09    7,360.04    260.00    Machine Learning Dataset Generator v0.90
x86_64-pc-linux-gnu
Titre: Re : MLC@Home
Posté par: nabz le 01 July 2020 à 21:30
Arf, réservé aux pingouins. :/
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 01 July 2020 à 21:52
Arf, réservé aux pingouins. :/
Une application Windows est prévu.
Titre: Re : MLC@Home
Posté par: Maeda le 01 July 2020 à 22:48
Pour les manchots :D !
Merci pour l'info, je tente :hello:
Titre: Re : MLC@Home
Posté par: toTOW le 02 July 2020 à 16:44
C'est typiquement le genre de projet que je pensais voir uniquement en GPU sur RTX ... :siflotte:
Titre: Re : MLC@Home
Posté par: modesti le 02 July 2020 à 18:39
"Projet personnel" - donc si on veut avoir un minimum de points avant qu'il ne soit terminé, on a intérêt à se dépêcher :D

:marcp:
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 02 July 2020 à 19:18
"Projet personnel" - donc si on veut avoir un minimum de points avant qu'il ne soit terminé, on a intérêt à se dépêcher :D

:marcp:
C'est bien possible.
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Dudumomo le 03 July 2020 à 03:32
Pas d'export de stats encore.
Je vais leur demander.
Titre: Re : MLC@Home
Posté par: modesti le 03 July 2020 à 08:45
Merci Dudu :jap:
C'était du rapide: le projet est déjà dans les stats de Seb
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Dudumomo le 03 July 2020 à 15:33
Tout est parti en erreur de mon coté.
Il faut installer fuse  :coffeetime:
Titre: Re : MLC@Home
Posté par: modesti le 03 July 2020 à 17:36
Pas eu de soucis de mon côté, mais je viens de vérifier et fuse2 et fuse3 sont installés.
Vu que c'est un Manjaro installé lors d'une Linux Install Party, je ne sais pas trop tout ce que j'ai côté logiciels, j'avoue :desole:

Citer
2 Jul 2020, 16:44:10 UTC    2 Jul 2020, 18:52:36 UTC    Completed and validated    3,290.75    3,268.89    260.00    Machine Learning Dataset Generator v0.90 x86_64-pc-linux-gnu
Titre: Re : Re : MLC@Home
Posté par: Oncle Bob le 03 July 2020 à 18:19
Arf, réservé aux pingouins. :/

L'OS est pas cher si tu veux mettre une VM en place :o
Titre: Re : Re : Re : MLC@Home
Posté par: fzs600 le 03 July 2020 à 19:14
Arf, réservé aux pingouins. :/

L'OS est pas cher si tu veux mettre une VM en place :o
https://forum.boinc-af.org/index.php/topic,8332.msg503030.html#msg503030 (https://forum.boinc-af.org/index.php/topic,8332.msg503030.html#msg503030)   :o
Titre: Re : MLC@Home
Posté par: JeromeC le 04 July 2020 à 14:50
Sur Debian j'ai dû aussi installer fuse (j'avais pourtant cru qu'il y était, je suis pas un pro de apt...) car ça partait en cahouette mais après ça tourne.
Titre: Re : Re : MLC@Home
Posté par: [AF>Libristes] Dudumomo le 05 July 2020 à 14:54
Pas d'export de stats encore.
Je vais leur demander.

Il y a maintenant les stats.
A activer (Donnez votre accord) sur le site du projet.
Titre: Re : MLC@Home
Posté par: JeromeC le 05 July 2020 à 16:06
C'est quand même bizarre que ce paramètre soit ignoré par StatSeb chez qui j'ai commencé à faire des crédits direct, y'a que SetiBZH qui le respecte (je parle en général, pas que pour ce projet).

C'est lié au fait que StatSeb ne lit pas les mêmes fichiers de données sur les sites des projets que SetiBZH, et que les projets en question ne respectent pas la case à cocher pour ces types de fichiers là ?
Titre: Re : MLC@Home
Posté par: fzs600 le 07 July 2020 à 06:40
Une application Windows est désormais disponible.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
Citer
   7 Jul 2020, 4:36:36 UTC    10 Jul 2020, 4:36:36 UTC    En cours    ---    ---    ---    Machine Learning Dataset Generator v9.20
windows_x86_64
Titre: Re : Re : MLC@Home
Posté par: [AF>Libristes] Elorak le 07 July 2020 à 18:15
Une application Windows est désormais disponible.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
Citer
   7 Jul 2020, 4:36:36 UTC    10 Jul 2020, 4:36:36 UTC    En cours    ---    ---    ---    Machine Learning Dataset Generator v9.20
windows_x86_64

Il faut cocher: Exécuter les applications de test
Titre: Re : Re : Re : MLC@Home
Posté par: fzs600 le 07 July 2020 à 18:26
Une application Windows est désormais disponible.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
Citer
   7 Jul 2020, 4:36:36 UTC    10 Jul 2020, 4:36:36 UTC    En cours    ---    ---    ---    Machine Learning Dataset Generator v9.20
windows_x86_64

Il faut cocher: Exécuter les applications de test
C'est exact.  :kookoo:
Titre: Re : Re : MLC@Home
Posté par: nabz le 07 July 2020 à 21:44
Une application Windows est désormais disponible.

Merci pour l'info. :jap:
Titre: Re : MLC@Home
Posté par: fzs600 le 10 July 2020 à 20:35
Diligence scientifique / objectif de la recherche
https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152)
Titre: Re : MLC@Home
Posté par: fzs600 le 11 July 2020 à 21:07
L'admin cherche un volontaire.  :kookoo:
Citer
Tout ça, je n'ai pas de mac sur lequel m'appuyer, donc il n'y a pas d'application test, et il n'y en aura pas non plus de sitôt.

Ce dont j'ai besoin, c'est d'un développeur mac osx qui soit prêt à porter/compiler/débugger/tester une application à partir des sources. Tant qu'un développeur ne se présentera pas, il n'y aura pas de support osx. J'en ai le désir, mais je n'ai ni le matériel ni le savoir-faire.

Traduit avec www.DeepL.com/Translator (version gratuite)
https://www.mlcathome.org/mlcathome/forum_thread.php?id=27&postid=158 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=27&postid=158)
Titre: Re : MLC@Home
Posté par: JeromeC le 12 July 2020 à 13:36
Diligence scientifique / objectif de la recherche
https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=152)

Citer
Etant récemment tombé sur votre nouveau projet, j'ai tout de suite aimé la question de la recherche ainsi que le fait que la plateforme soit ouverte au grand public. Je pense vraiment que l'étude de cette question pourrait donner des résultats intéressants. J'ai cependant été très intéressé par les informations de base sur la façon dont vous mettez en œuvre ce projet.

Pour moi, il y a deux aspects importants lorsqu'il s'agit de modèles complexes, en particulier dans l'espace des réseaux de neurones. L'explicabilité et l'interprétabilité des modèles. Le premier consiste à pouvoir expliquer pourquoi un modèle a donné une certaine prédiction (a donné une solution spécifique) et le second consiste à savoir comment le modèle a réellement donné cette solution. Habituellement, les praticiens ne s'intéressent qu'au premier aspect, car il s'agit essentiellement de l'exploration de la solution optimale/prévision (c'est-à-dire la moindre erreur de classification) et veulent donc comprendre pourquoi les résultats obtenus par une structure de réseau formée de manière optimale sont jugés optimaux et comment ils sont transférés dans le monde réel. Il s'agit essentiellement d'une inférence probabiliste causale permettant d'établir une relation de cause à effet pour donner un sens à la solution optimale.

Le deuxième élément concernant l'interprétabilité du modèle est généralement très négligé et est la raison pour laquelle beaucoup appellent les structures de réseau sophistiquées des modèles de boîte noire, car ils ne savent que ce qui se passe techniquement à l'intérieur du réseau/modèle mais ne peuvent pas vraiment le sonder/transférer au sens du monde réel dans la façon dont le modèle trouve la solution. Alors que l'explication d'une structure optimale pourrait être possible, la signification réelle de la transformation des données n'est pas vraiment intuitive (sélection des caractéristiques, activation des données plus biais, schémas de pondération des neurones, topologie du réseau, fonctions d'activation, taux d'apprentissage, coefficients de moment, montée et descente du gradient, optimisation stochastique de la méthode du gradient, propagation des erreurs en retour et mise à jour des poids, etc.)

D'après ce que j'ai compris, les gens se tournent vers les diagrammes de dépendance partielle, les variables de substitution globales ou locales ou la valeur de Shapley pour obtenir au moins une compréhension intuitive, jusqu'à un certain niveau, des variables qui tendent à expliquer la plus grande partie de la solution globale prévue. Vous pouvez également utiliser n'importe quel algorithme de réduction dimensionnelle tel que l'ACP pour obtenir une meilleure intuition sur la saisie des données, mais la formation NN n'est pas encore plus intuitive. Pour moi, c'est donc vraiment le problème de l'interprétabilité du modèle. C'est là que vous voulez aborder le problème, n'est-ce pas ?

Pour en revenir à votre page de description, vous savez que de nombreux réseaux neuronaux sont formés en parallèle avec des entrées, des hyperparamètres et des structures de réseau étroitement contrôlés. Pour moi personnellement, de nombreuses questions demeurent.

- Quelle est la technique utilisée pour entraîner les réseaux (montée et descente en gradient ou toute autre technique améliorée stochastiquement) ?
- ces techniques varieront-elles en fonction de l'UG ou des lots ?
- considère-t-on des structures de réseaux neuronaux spécifiques ou de simples ANNs "plain vanilla" ?
- quel ensemble de données est utilisé pour la formation afin de comprendre ce que les modèles formés tentent de prévoir ? Je ne veux pas former certains modèles sur des données douteuses / dans un but douteux.
- nous concentrons-nous sur les réseaux de neurones pour la classification (sortie catégorielle) ou formons-nous aux modèles de régression des réseaux de neurones (sortie numérique)
- Que signifie un contrôle étroit des hyperparamètres ? Un sous-ensemble de HP est-il fixé pour toutes les UGF et seul un HP est changé à la fois dans chaque UGF ?
- de nombreux hyperparamètres sont-ils modifiés simultanément par unité d'eau, c'est-à-dire un ensemble ou un sous-ensemble de HP ? Comment contrôlez-vous les effets de chevauchement ?
- quels hyperparamètres prenez-vous en compte ? Nombre de couches cachées, neurones par couche, différentes fonctions d'activation, différentes méthodes de gradient, biais, schémas de pondération, initialisation du poids, différents rapports de division de l'ensemble de données en ensemble d'entraînement et de test, introduction de bruit dans les données, méthodes d'échantillonnage des données d'entraînement, méthodes d'échantillonnage stratifiées/matières cachées, régularisation, introduction d'un coefficient d'impulsion pour l'apprentissage, sélection de caractéristiques, méthodes d'échantillonnage de sous-ensembles de caractéristiques, ingénierie des caractéristiques, etc. qui, d'après ce que je comprends, sont tous qualifiés d'hyperparamètres, c'est-à-dire tout paramètre dont la valeur doit être décidée et convenue avant le début de l'entraînement ? Il n'est pas nécessaire de dresser une liste exhaustive, mais simplement de connaître l'essentiel de la direction que prend ce projet.
- Cet ensemble d'hyperparamètres considérés changera-t-il au fil du temps ou est-il statique ?
- d'autres types de réseaux seront-ils formés à l'avenir ? des réseaux convolutifs, récurrents ou à auto-encodeur par exemple, qui ont tous un nombre croissant de cas d'utilisation dans le monde réel ?
- comment comptez-vous analyser les résultats produits par notre WU écrasé ? Selon quels processus/critères les analysez-vous ? Une attention particulière est-elle accordée à certains HP ? Comment évaluez-vous l'ensemble des données du modèle généré ? Seulement les taux d'erreur de classification pour la précision ? Comment jugez-vous la complexité ? Toute intention de rendre un algorithme qui tente essentiellement de trouver un modèle à partir de l'ensemble des données générées qui (comme l'ACP ou la régression) conserve la plus grande partie de la variance globale des données mais avec le moins d'entrées possible (essentiellement à une complexité donnée (définie selon une mesure pondérée) donnerait toujours la "structure de réseau la plus simple" à une complexité donnée (disons quelques hyperparamètres fixes/contraints) -> Je me demande simplement ce que vous voulez analyser ?

Nous apprécierions toute information supplémentaire que vous pourriez nous communiquer :)


Citer
Désolé pour le retard de réponse, le jeudi est ma journée la plus chargée.

Tout d'abord, des questions fantastiques. Je vais essayer de les couvrir toutes ici du mieux que je peux. Pour plus d'informations, je suis en train de créer une page web pour couvrir la plupart de vos questions... vous pouvez la voir sur le site principal https://www.mlcathome.org/index.html, et cliquez sur "MLDS Datasets" dans la barre latérale. Cette page est encore en construction, mais elle répondra à certaines de vos questions et vous permettra de télécharger l'ensemble de données.

Je reconnais que je suis beaucoup plus intéressé par l'interprétabilité du réseau que par l'explication des raisons pour lesquelles une entrée particulière produit une sortie particulière. Le LRP, les gradients intégrés, etc. font déjà un bon travail en montrant quelles parties de l'entrée ont le plus contribué à la sortie particulière. Mais pour ce faire, vous avez besoin d'intrants et vous observez essentiellement comment le réseau transforme cet intrant particulier. Super, utile, mais je veux regarder un réseau sans me fier à un intrant particulier. Je pense que cela correspond aussi à ce qui vous intéresse. Un domaine de recherche que j'ai vu est celui de Weiss et al. où ils essaient d'extraire des automates directement des RNN en utilisant des modèles d'inférence grammaticale. Remarque : j'ai pu reproduire leurs travaux pour les classificateurs, mais pas les réseaux modélisant un transducteur, où chaque état est un état d'acceptation. Il existe de nombreux autres travaux dans ce domaine également, je les utilise simplement comme exemple de personnes qui ne s'intéressent qu'à la structure et aux poids du réseau.

Cela dit, pour l'instant, je ne fais que créer un ensemble de données, il n'y a aucune raison qu'il ne puisse pas être utilisé pour les deux. Ou quelque chose de complètement différent.

J'en viens maintenant à vos questions spécifiques :

- quelle est la technique utilisée pour entraîner les réseaux (montée et descente par gradient ou toute autre technique stochastique améliorée) ?

La descente de gradient stochastique. L'optimiseur d'Adam. Le code est disponible sur gitlab

- Ces techniques varieront-elles en fonction de l'UE ou des lots ?

Pour ce premier tour, non, mais pour les travaux futurs absolument.

- Est-ce que des structures de réseaux neuronaux spécifiques sont envisagées ou de simples ANNs "plain vanilla" ?

Je suis vraiment intéressé par les RNN, donc ce premier lot est constitué de RNN empilés très simples basés sur ceux de cet article, non pas parce qu'il s'agit d'un papier RGEAT par exemple, mais parce qu'il contient des machines très simples qui sont faciles à modéliser avec un RNN et qui sont faciles à former rapidement. Elles constituent un bon banc d'essai pour éliminer les défauts du système.

- quel ensemble de données est utilisé pour la formation afin de comprendre ce que les modèles formés essaient de prévoir ? Je ne veux pas former certains modèles sur des données douteuses / dans un but douteux.

Voir le document ci-dessus, et le code sur gitlab.com. Les données de formation sont des séquences d'entrée aléatoires et des séquences de sortie observées sur ces "machines" jouets.

- nous concentrons-nous sur les réseaux de neurones pour la classification (sortie catégorielle) ou formons-nous aux modèles de régression des réseaux de neurones (sortie numérique)

Régression. Voir ci-dessus, nous prédisons des séquences de sortie.

- Que signifie un contrôle serré des hyperparamètres ? Un sous-ensemble de HP est-il fixé pour toutes les WU et seul 1 HP est changé à la fois dans chaque WU ?

Ce premier lot est composé d'hyperparamètres fixes, mais les lots suivants pourraient changer d'hyperparamètres. Si c'est le cas, nous n'en générons pas seulement un, mais des milliers avec le même ensemble d'hyperparamètres. Et ces hyperparamètres seront documentés avec cet ensemble de données afin que chacun sache ce qui change, et nous avons de multiples exemples à comparer.

- Est-ce que plusieurs hyperparamètres sont modifiés simultanément par unité de puissance, c'est-à-dire un ensemble ou un sous-ensemble de l'ensemble des HP ? Comment contrôlez-vous les effets de chevauchement ?

Puisque nous avons la possibilité d'en faire fonctionner tant en parallèle, je dirais que nous devrions faire fonctionner plusieurs lots en les modifiant un à la fois, puis les combiner, de sorte que l'ensemble de données résultant contienne toutes ces informations pour une analyse ultérieure.

- Quels sont les hyperparamètres que vous considérez ? Le nombre de couches cachées, les neurones par couche, les différentes fonctions d'activation, les différentes méthodes de gradient, le biais, les schémas de pondération, l'initialisation des poids, les différents rapports de division de l'ensemble de données en ensembles de formation et de test, l'introduction du bruit dans les données, les méthodes d'échantillonnage des données de formation, les méthodes d'échantillonnage stratifié/exploitation, la régularisation, l'introduction d'un coefficient de momentum pour l'apprentissage, la sélection des caractéristiques, les méthodes d'échantillonnage des sous-ensembles de caractéristiques, l'ingénierie des caractéristiques, etc. qui, d'après ce que je comprends, sont tous qualifiés d'hyperparamètres, c'est-à-dire tout paramètre dont la valeur doit être décidée et convenue avant le début de la formation ? Il n'est pas nécessaire de dresser une liste exhaustive, mais simplement de connaître l'essentiel de la direction que prend ce projet.
[citation]
Tous seront pris en considération. La version actuelle du client peut modifier le nombre de couches cachées, la largeur des couches cachées et différents ratios de formation et de test. C'est du pytorch sous le capot, donc tout ce qu'ils supportent, nous pouvons le supporter. Pour en ajouter, il suffit d'ajouter des boutons au binaire.


- Cet ensemble d'hyperparamètres considérés va-t-il changer avec le temps ou est-il statique ?

Le client évoluera dans le temps et cet ensemble va certainement s'accroître.

- d'autres types de réseaux seront-ils formés à l'avenir ? des réseaux convolutifs, récurrents ou à auto-encodeur par exemple, qui ont tous un nombre croissant de cas d'utilisation dans le monde réel ?

Oui. Je m'intéresse particulièrement aux transformateurs...

- comment comptez-vous analyser les résultats produits par notre WU écrasé ? Selon quels processus/critères les analysez-vous ? Un intérêt particulier pour certains HP ? Comment évaluez-vous l'ensemble des données générées par le modèle ? Seulement les taux d'erreur de classification pour la précision ? Comment jugez-vous la complexité ? Toute intention de rendre un algorithme qui tente essentiellement de trouver un modèle à partir de l'ensemble des données générées qui (comme l'ACP ou la régression) conserve la plus grande partie de la variance globale des données mais avec le moins d'entrées possible (essentiellement à une complexité donnée (définie selon une mesure pondérée) donnerait toujours la "structure de réseau la plus simple" à une complexité donnée (disons quelques hyperparamètres fixes/contraints) -> Je me demande simplement ce que vous voulez analyser ?

Eh bien, j'ai quelques idées sur ce que je veux faire avec l'ensemble de données, mais l'ensemble de données lui-même sera rendu public pour que tous puissent l'analyser comme ils le souhaitent.

Veuillez lire la première page sur https://www.mlcathome.org et la page spécifique de mlds sur https://www.mlcathome.org/mlds.html, cela vous donnera plus d'informations.

J'espère que cela a répondu à la plupart de vos questions, et encore une fois, merci pour votre intérêt !


Notez que la réponse ci-dessus ne s'applique qu'à l'application MLDS fonctionnant sur MLC@Home. Je vois que cette infrastructure est également utilisée pour d'autres applications, et j'en parle avec d'autres chercheurs. Voici quelques autres idées qui me viennent immédiatement à l'esprit :


Recherche d'architecture neurale
Neuro-évolution
Recherche d'hyperparamètres pour un objectif spécifique


Mais pour l'instant, MLDS est la seule application fonctionnant sur MCL@Home. Au fur et à mesure que d'autres projets seront mis en ligne, je leur demanderai d'afficher plus d'informations ici afin que d'autres puissent choisir de contribuer ou non à ces sous-projets.


Citer
Merci beaucoup d'avoir pris le temps d'entrer dans les détails de votre réponse. Votre réponse est très intéressante à lire. En parcourant le document technique auquel vous avez fait référence, la formation des RNN avec les différentes architectures simples n'est en fait qu'un point de départ pour votre analyse, en construisant essentiellement l'ensemble de données initiales des modèles formés que vous voulez étudier, n'est-ce pas ?

C'est génial que vous soyez d'accord avec moi pour vous concentrer principalement sur l'aspect de l'interprétabilité des prédictions dérivées des RNN plutôt que sur l'aspect de l'explicabilité. Le pointeur Gitlab est apprécié. Je vais y regarder de plus près. Je suis vraiment ravi de voir que les HP changent avec le temps pour chaque lot d'entraînement de modèle et encore plus des résultats potentiels qu'une comparaison pourrait donner.

Vous avez certainement des sujets de recherche brûlants en tête pour l'avenir ainsi que pour les applications ultérieures. Vos travaux de recherche ont certainement du mérite et méritent mon soutien pour permettre de nouvelles explorations scientifiques dans cet espace.

Merci également de m'avoir indiqué le site web du MLDS, car je n'en avais pas connaissance auparavant. Je suis heureux de voir que des efforts sont faits pour expliquer aux autres le type de science qui est pratiqué et en particulier les objectifs du projet.

J'aurais aimé que les autres administrateurs du projet fassent preuve d'une rapidité et d'une éloquence de réponse similaires. J'espère que cette norme sera maintenue tout au long du projet et pas seulement au début, alors que les choses s'accélèrent pour attirer des volontaires.

J'aime ce que je vois ici et je resterai dans le coin car je m'intéresse à la façon dont les choses vont évoluer même si je ne peux contribuer qu'avec 12 fils de mon vieux Xeon. Bonne chance pour ce projet !

Continuez à vous démener ! [arf là pour le coup deepl n'a pas capté le "keep crunching away" !!]

Traduit avec www.DeepL.com/Translator (version gratuite)

Un projet hyper intéressant et un admin hyper intéressant !!!
Titre: Re : MLC@Home
Posté par: JeromeC le 12 July 2020 à 14:07
Biologie ? vraiment ? un projet qui cherche à travailler sur la validation de modèle d'IA ?

Je sais qu'on a pas vraiment de catégorie pour ça, alors pourquoi pas dans la section des projets générale ? ou celle des projets multi-catégorie ? (vu que visiblement le projet va évoluer, tout en restant dans ce domaine de recherche)
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 12 July 2020 à 14:40
Biologie ? vraiment ? un projet qui cherche à travailler sur la validation de modèle d'IA ?

Je sais qu'on a pas vraiment de catégorie pour ça, alors pourquoi pas dans la section des projets générale ? ou celle des projets multi-catégorie ? (vu que visiblement le projet va évoluer, tout en restant dans ce domaine de recherche)
Pour ce type de recherche j'ai zieuter sur Wikipédia c'est bien de la Biologie mais  bon je peux changer de catégorie si il le faut.  :kookoo:         
Titre: Re : MLC@Home
Posté par: JeromeC le 12 July 2020 à 14:56
Ben...

Citer
MLC@Home est un projet de calcul distribué consacré à la compréhension et à l'interprétation de modèles d'apprentissage machine complexes, en mettant l'accent sur les réseaux de neurones. Il utilise la plateforme de calcul distribué BOINC.

Ce que fait MLC@Home
MLC@Home fournit une plateforme ouverte et collaborative pour les chercheurs qui étudient la compréhension de l'apprentissage machine. Il nous permet de former des milliers de réseaux en parallèle, avec des entrées, des hyperparamètres et des structures de réseau étroitement contrôlés. Nous l'utilisons pour mieux comprendre ces modèles complexes.

Le projet initial de MLC@Home, le générateur d'ensembles de données d'apprentissage machine (MLDS), générera un vaste ensemble de données de réseaux simples formés avec des données propres et contradictoires. À notre connaissance, il s'agit du premier ensemble de données de ce type. MLC@Home accueille également les propositions de projets d'autres chercheurs en rapport avec ce domaine de recherche. MLC@Home demande que toutes les données générées par les projets soutenus soient mises à la disposition du public et que, dans la mesure du possible, tous les documents et analyses soient également rendus publics.

C'est pas parce qu'on dit "réseau de neurones" que c'est de la bio, on parle bien de recherche en intelligence artificielle.
Titre: Re : MLC@Home
Posté par: franky82 le 18 July 2020 à 10:09
https://www.mlcathome.org/mlcathome/forum_thread.php?id=34
Citer
Exciting news!
MLC@Home is now a project of the The Cognition, Robotics, and Learning (CORAL) lab at the University of Maryland, Baltimore County (UMBC).
This brings many benefits, not the least of which is lab space to run equipment, new ideas for research to conduct, and a place to collaborate with other researchers who may not be members of the BOINC community. Most importantly, being backed by a university research lab provides some assurance to you, our volunteers, that this project has both academic merit and a purpose beyond a single researcher and their goals. Over the next few days I'll be updating our website to reflect the new affiliation.

As always, please see our main website, https://www.mlcathome.org for details on the current research, or join us by attaching your BOINC client to this URL: https://www.mlcathome.org/mlcathome/

Citer
Des nouvelles passionnantes !
MLC@Home est désormais un projet du laboratoire CORAL (The Cognition, Robotics, and Learning) de l'université du Maryland, comté de Baltimore (UMBC).
Cela apporte de nombreux avantages, dont le moindre n'est pas l'espace de laboratoire pour faire fonctionner l'équipement, de nouvelles idées de recherche à mener, et un lieu pour collaborer avec d'autres chercheurs qui ne sont peut-être pas membres de la communauté BOINC. Plus important encore, le fait d'être soutenu par un laboratoire de recherche universitaire vous donne une certaine assurance, à vous, nos volontaires, que ce projet a à la fois un mérite académique et un but qui va au-delà d'un seul chercheur et de ses objectifs. Dans les prochains jours, je vais mettre à jour notre site web pour refléter la nouvelle affiliation.

Comme toujours, veuillez consulter notre site web principal, https://www.mlcathome.org pour des détails sur la recherche en cours, ou rejoignez-nous en joignant votre client BOINC à cette URL : https://www.mlcathome.org/mlcathome/
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 18 July 2020 à 10:31
https://www.mlcathome.org/mlcathome/forum_thread.php?id=34
Citer
Exciting news!
MLC@Home is now a project of the The Cognition, Robotics, and Learning (CORAL) lab at the University of Maryland, Baltimore County (UMBC).
This brings many benefits, not the least of which is lab space to run equipment, new ideas for research to conduct, and a place to collaborate with other researchers who may not be members of the BOINC community. Most importantly, being backed by a university research lab provides some assurance to you, our volunteers, that this project has both academic merit and a purpose beyond a single researcher and their goals. Over the next few days I'll be updating our website to reflect the new affiliation.

As always, please see our main website, https://www.mlcathome.org for details on the current research, or join us by attaching your BOINC client to this URL: https://www.mlcathome.org/mlcathome/

Citer
Des nouvelles passionnantes !
MLC@Home est désormais un projet du laboratoire CORAL (The Cognition, Robotics, and Learning) de l'université du Maryland, comté de Baltimore (UMBC).
Cela apporte de nombreux avantages, dont le moindre n'est pas l'espace de laboratoire pour faire fonctionner l'équipement, de nouvelles idées de recherche à mener, et un lieu pour collaborer avec d'autres chercheurs qui ne sont peut-être pas membres de la communauté BOINC. Plus important encore, le fait d'être soutenu par un laboratoire de recherche universitaire vous donne une certaine assurance, à vous, nos volontaires, que ce projet a à la fois un mérite académique et un but qui va au-delà d'un seul chercheur et de ses objectifs. Dans les prochains jours, je vais mettre à jour notre site web pour refléter la nouvelle affiliation.

Comme toujours, veuillez consulter notre site web principal, https://www.mlcathome.org pour des détails sur la recherche en cours, ou rejoignez-nous en joignant votre client BOINC à cette URL : https://www.mlcathome.org/mlcathome/
Merci pour l'info.  :kookoo:
Titre: Re : MLC@Home
Posté par: JeromeC le 18 July 2020 à 11:44
:+1:
Titre: Re : MLC@Home
Posté par: fzs600 le 23 July 2020 à 06:51
https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=217 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=30&postid=217)
Citer
À ma connaissance (je vais essayer de le raccourcir au risque de faire quelques erreurs de généralisation), l'idée de base n'est pas de former ici des modèles de réseaux neuronaux pour un cas d'utilisation spécifique. Les modèles sont essentiellement formés sur des données de jouets aléatoires (n'ayant aucune signification sémantique). Cependant, les réseaux formés présentent une architecture neurale différente sur laquelle ils sont formés. L'idée est essentiellement d'ouvrir la boîte noire en examinant comment l'inclusion et l'ajustement de certains paramètres dans l'apprentissage des réseaux neuronaux peuvent affecter son pouvoir explicatif et sa précision.
Dans ce cycle (ensemble de données 1 + 2), nous nous concentrons sur la modification de l'architecture du réseau tout en laissant tout le reste égal. D'autres paramètres qui affectent la formation sont ensuite modifiés lors des cycles suivants.

L'objectif n'est pas de former le modèle en utilisant des données du monde réel pour modéliser et prévoir un cas d'utilisation réel, mais de mieux comprendre pourquoi certaines modifications des paramètres qui définissent la formation conduisent à un certain résultat dans le modèle formé. Devenir capable d'interpréter non seulement pourquoi une solution dérivée/prévue du réseau est dite optimale mais aussi mieux comprendre comment la solution a été exactement dérivée et comment cette solution diffère selon les changements dans l'ensemble des hyperparamètres. L'implication de cette recherche est donc bien plus importante que le simple fait de dire un certain cas d'utilisation d'une application dans un domaine spécifique, mais elle pourrait aider à faire progresser la compréhension de la formation des réseaux neuronaux en général/ dans tous les domaines, ce qui conduirait à des modèles plus expressifs, une plus grande précision et surtout une compréhension meilleure et plus intuitive du processus par lequel le réseau génère des solutions particulières.

J'espère avoir bien compris et, au moins dans une certaine mesure, sans trop de répétitions. Si vous me le faites savoir, je pourrai réessayer.

Traduit avec www.DeepL.com/Translator (version gratuite)

Titre: Re : MLC@Home
Posté par: JeromeC le 23 July 2020 à 18:00
Citer
[ce que dit] bozz4science est correct.

Nous menons une recherche fondamentale pour comprendre les modèles d'apprentissage machine. Nous le faisons avec des données "jouets" qui ne s'appliquent pas à un domaine particulier, mais la compréhension que nous espérons acquérir aidera tous les domaines qui utilisent l'apprentissage machine à mieux comprendre les limites et à améliorer les modèles qui sont utilisés dans ces domaines.... et le ML [apprentissage machine] est utilisée dans presque tous les domaines en ce moment.
Titre: Re : MLC@Home
Posté par: fzs600 le 25 July 2020 à 11:54
Bientôt une application pour ARM.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237)
Titre: Re : MLC@Home
Posté par: JeromeC le 25 July 2020 à 15:07
Ça fait un gros RAC de 40k avec les 24 threads du (vieux) Joe, je vais le laisser arriver au miyon, ça fera pas de mal :)
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 02 August 2020 à 11:55
Bientôt une application pour ARM.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=45&postid=237)
Ça avance bien.  :kookoo:
https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=291 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=291)
Titre: Re : MLC@Home
Posté par: fzs600 le 10 August 2020 à 07:27
Linux/armhf and Linux/arm64 support status thread
https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=310 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=51&postid=310)
Citer
Les utilisateurs attentifs remarqueront peut-être que le MLDS est maintenant disponible pour l'ARM 64 bits sur ce serveur (si vous regardez *vraiment* bien, vous verrez aussi un binaire 32 bits mal configuré, mais qui fonctionne aussi).

Ne l'utilisez pas encore à moins que vous ne vouliez *vraiment* le tester, car il y a au moins un problème flagrant : il est multithreadé au lieu d'être single threadé, ce qui le conduit à surcommuter les plates-formes.

Mais nous nous en rapprochons. Je travaille sur un petit lot de corrections et sur l'automatisation du processus de construction pour le jeu de données 3 ; donc, à moins que vous ne vouliez vraiment être sur la corde raide, attendez la prochaine version du client et une annonce officielle.

Traduit avec www.DeepL.com/Translator (version gratuite)

Citer
   10 Aug 2020, 5:22:00 UTC    12 Aug 2020, 5:22:00 UTC    En cours    ---    ---    ---    Machine Learning Dataset Generator v9.20
aarch64-unknown-linux-gnu
Titre: Re : MLC@Home
Posté par: fzs600 le 15 August 2020 à 16:17
Après des débuts difficile avec PI4 ça s'améliore bien.
Citer
   11 Aug 2020, 4:58:59 UTC    15 Aug 2020, 13:44:46 UTC    Terminé et validé    41,827.50    41,287.31    260.00    Machine Learning Dataset Generator v9.20
aarch64-unknown-linux-gnu
Citer
11 Aug 2020, 4:58:59 UTC    15 Aug 2020, 13:24:20 UTC    Terminé et validé    42,030.59    41,470.29    260.00    Machine Learning Dataset Generator v9.20
aarch64-unknown-linux-gnu
Titre: Re : MLC@Home
Posté par: fzs600 le 21 August 2020 à 05:58
New client released with ARM support!
https://www.mlcathome.org/mlcathome/forum_thread.php?id=59&postid=341 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=59&postid=341)
Titre: Re : MLC@Home
Posté par: franky82 le 16 September 2020 à 10:58
https://www.mlcathome.org/mlcathome/forum_thread.php?id=76
Citer
Cette semaine dans MLC@Home
Notes pour le 14 septembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Nous approchons des 2000 hôtes avec une récente note de crédit! Merci à tous ceux qui contribuent!

Nous sommes vraiment, vraiment ravis que nous approchions de la fin des ensembles de données 1 et 2. Ces réseaux embêtants Parity * et EightBit * commencent à se terminer, ce qui signifie que cette entreprise massive touche à sa fin et sera bientôt prête à être publiée.

La nouveauté cette semaine est le lancement d'un projet MLDStest pour tester en version bêta les nouvelles versions de clients et le nouvel ensemble de données 3 WU. Les utilisateurs ont la possibilité de refuser d'exécuter des unités de test s'ils le souhaitent (sous les préférences du compte), mais le nombre de WU devrait être très petit, et ce serait une grande aide de les exécuter si vous le pouvez, alors pensez à rester en tant que testeur.

Cette semaine, nous avons résolu la plupart des problèmes dans les coulisses de Dataset 3 et avons déjà envoyé des WU de test. Cette semaine, nous espérons mettre en file d'attente le gros des WU de l'ensemble de données 3. Les préparatifs pour le jeu de données 4 (MNIST et TrojAI) sont en cours.

La rédaction d'articles se poursuit jusqu'à la date limite de la conférence à la fin du mois.

Nouvelles:

Nouvelle application "MLDStest" ajoutée au site.
Nouvelles préférences de projet activées, y compris la possibilité de limiter les applications que vous exécutez et les limites sur les cœurs de processeur à utiliser en même temps.
Le client v9.60 en test, aucun problème jusqu'à présent, sera publié dans l'application MLDS régulière plus tard cette semaine.
Modifications du client pour le Dataset 4 en cours.
Une discussion technique de Dataset 3 est en cours dans les forums pour ceux qui s'intéressent à la science qui le sous-tend.
Nous ferons une version officielle d'un ensemble de données préliminaire (1 + 2) une fois que nous aurons au moins 1000 exemples de chaque type de machine, et nous nous rapprochons!
Le nouveau serveur n'a pas encore été expédié par le fournisseur, mais devrait être "n'importe quel jour maintenant".
Nous n'avons pas oublié les badges! Nous nous concentrons uniquement sur le papier et la nouvelle génération WU pour le moment. Cela dit, si les volontaires souhaitent proposer des designs potentiels pour des badges, rendez-vous sur les forums et rejoignez la discussion.


Aperçu de l' état du projet:

Tâches
Tâches prêtes à être envoyées 12847
Tâches en cours 22234
Utilisateurs
avec crédit 690
Enregistré au cours des dernières 24 heures 25
Hôtes
avec crédit récent 1960
Enregistré au cours des dernières 24 heures 42
Progression actuelle de GigaFLOPS 31675.59 Ensemble de

données 1 et 2:
SingleDirectMachine 10002/10004
EightBitMachine 9994/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 602/10005
ParitéModifiée 118/10005
EightBitModifié 4554/10006
SimpleXORModified 10005/10005
SingleDirectModified 10004/10004
SingleInvertModifié 10002/10002


Notes TWIM de la semaine dernière : 8 septembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=72)

Merci encore à tous nos bénévoles!

- Les administrateurs MLC@Home
Titre: Re : MLC@Home
Posté par: JeromeC le 16 September 2020 à 17:25
Ca bouge bien !
Titre: Re : MLC@Home
Posté par: fzs600 le 04 October 2020 à 07:57
GPU update
https://www.mlcathome.org/mlcathome/forum_thread.php?id=89&postid=567 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=89&postid=567)
Titre: Re : MLC@Home
Posté par: Maeda le 04 October 2020 à 13:38
Ah ! Bonne nouvelle :). Espérons un beau CUDA avec peu de %CPU pour faire tourner le GPU à 100% :coffeetime:
Titre: Re : MLC@Home
Posté par: fzs600 le 06 October 2020 à 06:40
Darling
https://www.mlcathome.org/mlcathome/forum_thread.php?id=93&postid=603 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=93&postid=603)
Titre: Re : MLC@Home
Posté par: JeromeC le 06 October 2020 à 18:36
Mmm c'est bizarre en lisant la page principale du site, ça fait exactement l'inverse de ce qu'il faudrait "running macOS software on linux" et lui il veut porter son soft linux sur macOS sans avoir de Mac :lol:
Titre: Re : MLC@Home
Posté par: fzs600 le 10 October 2020 à 08:24
 :kookoo:
Citer
Server maintenance starting tonight at midnight local time (3.5 hours from this post).  Expect MLC@Home website and #boinc scheduler to be down for about a day. Hopefully less, but we're leaving lots of time.. to move to a new, more powerful server!

Citer
Maintenance du serveur à partir de ce soir à minuit, heure locale (3,5 heures à partir de ce poste).  Le site web MLC@Home et le programmateur #boinc devraient être hors service pendant environ une journée. Espérons moins, mais nous vous laissons beaucoup de temps... pour passer à un nouveau serveur plus puissant !
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 10 October 2020 à 19:33
Depuis quelques jours, il y avait souvent des délais dans les envois, espérons que ce sera plus solide  :) (pareil pour odlk et t.brada de temps en temps en ce moment)

Edit: depuis hier soir, ça tourne sans soucis; on dirait qu'ils ont fait l'upgrade sans bobos.
Titre: Re : MLC@Home
Posté par: DocPhilou1966 le 16 October 2020 à 06:35
 :hello:
Est-ce que vous faites tourner les UT 'test' ?
Merci
:kookoo:
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 16 October 2020 à 07:17
:hello:
Est-ce que vous faites tourner les UT 'test' ?
Merci
:kookoo:
Citer
22 Sep 2020, 21:18:46 UTC    23 Sep 2020, 21:14:16 UTC    Terminé et validé    82,503.57    81,415.95    585.00    Machine Learning Dataset Generator (test) v9.61
aarch64-unknown-linux-gnu
Citer
   22 Sep 2020, 21:08:47 UTC    24 Sep 2020, 7:26:56 UTC    Terminé et validé    123,378.68    121,714.10    585.00    Machine Learning Dataset Generator (test) v9.61
aarch64-unknown-linux-gnu
Sinon pas moyen d'en avoir d'autre.  :cavapobienmwa:
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 16 October 2020 à 17:05
Non, y en a eu 20 de distribuées, rien vu chez moi   :cry:
Titre: Re : MLC@Home
Posté par: DocPhilou1966 le 16 October 2020 à 17:15
Y'en a une qu'est passée chez moi, et personne pour la valider  :cry:
Titre: Re : MLC@Home
Posté par: Antares le 16 October 2020 à 17:21
Pourtant il y en a 26000 en attente
Titre: Re : MLC@Home
Posté par: JeromeC le 16 October 2020 à 17:39
26000 tâches dispos de l'appli de base mais 17 de l'appli de test, au moment où j'écris.
Titre: Re : MLC@Home
Posté par: franky82 le 16 October 2020 à 18:36
ça fait plusieurs jours que je crunche du MLC et je n'ai eu aucune UT test !  :/
Titre: Re : MLC@Home
Posté par: JeromeC le 17 October 2020 à 10:47
Je ne fais pas de MLC en ce moment et je n'avais pas coché "autoriser les applis de test" donc deux bonnes raisons de ne jamais en avoir pour moi :D
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 17 October 2020 à 22:27
:hello:
Est-ce que vous faites tourner les UT 'test' ?
Merci
:kookoo:
La réponse ?
https://www.mlcathome.org/mlcathome/forum_thread.php?id=100&postid=657 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=100&postid=657)
Titre: Re : MLC@Home
Posté par: franky82 le 20 October 2020 à 12:00
https://www.mlcathome.org/mlcathome/forum_thread.php?id=102#663
Citer
Cette semaine dans MLC@Home
Notes pour le 19 octobre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
Un bref résumé cette semaine, car c'était une semaine calme sur les forums et une semaine chargée en dehors du projet. Hé, parfois la vie arrive. Voir ci-dessous pour les mises à jour de la prise en charge GPU, les mises à jour Paper, l'ensemble de données 4 et la prise en charge OSX.

Nouvelles :
 - Nous avons franchi le premier jalon du jeu de données 3 ! Bravo à tous nos bénévoles ! Les prochaines étapes consistent à le conditionner et à rédiger une brève analyse / article à soumettre à arXiv et à publier l'ensemble de données au public! Les travaux de l'étape 2 (1000x100) sont en cours !
 - Nous avons passé un certain temps la semaine dernière à accéder aux machines Windows et Linux avec CUDA, donc les clients GPU devraient être mis à l'essai cette semaine. Nous rencontrons des problèmes pour l'empaquetage de la version ROCm, mais nous essaierons également de les intégrer aux tests.
 - Nous avons également sécurisé l'accès sur une machine OSX et avons exécuté le client sur OSX! Cependant, l'empaquetage sur OSX fait face à un autre ensemble de défis similaires à ROCM empaquetant les bibliothèques avec
 - La préparation du jeu de données 4 se poursuit. Nous avons les données, nous avons juste besoin de quelques mises à jour du backend pour gérer le nouveau type ou les nouveaux réseaux (classification vs régression).
 - Aucun changement dans le jeu de données 1 + 2 pour le moment, il y a des WU Partiy et EightBit mis à jour en cours de test, mais nous n'avons pas encore traité ces résultats pour nous assurer qu'ils sont prêts pour une sortie complète.


Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)

Tâches
 - Tâches prêtes à envoyer 25261
 - Tâches en cours 21240
Utilisateurs
 - avec crédit 961
 - Enregistré dans les dernières 24 heures 45
Hôtes
 - avec crédit récent 2064
 - Enregistré dans les dernières 24 heures 15
GigaFLOPS actuel 248734.27

Progression des jeux de données 1 et 2
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              854/10005

ParityModified             243/10005
EightBitModified          6365/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression des jeux de données 3
Citer
Globalement (jusqu'à présent): 26430/30112
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 26430/100000
Milestone 3: 100x10000: 26430/1000000

Merci encore à tous nos bénévoles!

- Les administrateurs MLC@Home
Titre: Re : MLC@Home
Posté par: franky82 le 03 November 2020 à 14:03
J'ai sauté quelques mises à jour de MLC...

https://www.mlcathome.org/mlcathome/forum_thread.php?id=113#758
Citer
Cette semaine dans MLC@Home
Notes pour le 2 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Si vous êtes aux États-Unis et que vous n'avez pas encore profité du vote anticipé, veuillez voter demain.

Sommaire :
Semaine (s) GPU, partie 2. Les inconvénients des mises à jour hebdomadaires sont parfois que vous n'avez pas grand-chose à signaler. Malheureusement, la majeure partie de cette semaine a été perdue en essayant de déboguer un étrange crash lié uniquement au client lors de la compilation pour Linux / CUDA. Il s'avère que cela n'a rien à voir avec notre code, c'est une étrange interaction entre la bibliothèque de threads utilisée dans les bibliothèques pré-compilées pytorch et la bibliothèque BOINC. Il nous a fallu plusieurs jours pour réaliser que ce n'était pas notre code qui causait le problème, il en faudra maintenant quelques autres pour trouver une solution, ce qui nécessitera probablement un pytorch compilé sur mesure, ce qui prendra quelques jours de plus pour déboguer .

Les accélérations du GPU en valent la peine, mais veuillez rester avec nous pendant que nous résolvons ces problèmes dans la file d'attente des tests, et continuez à vous déplacer dans la file d'attente de recherche principale!

Nouvelles :
Nous nous attendons à la plupart des questions de CUDA aplanies et les ont en usage général (non-bêta) par la dernière semaine prochaine. Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent!
Nous reviendrons sur les estimations WU FLOPS pour tout nouveau problème de WU à partir de cette semaine, cela devrait résoudre les problèmes de surestimation avec le temps.
J'ai passé un peu de temps à travailler sur DS4 et le papier DS3, mais le débogage GPU a à nouveau pris la majorité du temps libre.


Instantané de l'état du projet :
(note ces chiffres sont approximatifs)

Tâches
- Tâches prêts à envoyer 41034
 - Tâches en cours 9231

utilisateurs
- Avec crédit : 1080
 - enregistrés au cours des dernières 24 heures : 39

hôtes
- Avec crédit récent : 2106
 - enregistré au cours des dernières 24 heures : 24

GigaFLOPS actuels : 29333,56

Dataset 1 et 2 progrès :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              912/10005

ParityModified             289/10005
EightBitModified          6597/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression de l'ensemble de données 3 :
Citer
Overall (so far): 44466/50557
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 44466/100000
Milestone 3: 100x10000: 44466/1000000

Notes TWIM de la semaine dernière: 27 octobre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=108)

Merci encore à tous nos bénévoles!

- Les administrateurs MLC@Home
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 08 November 2020 à 10:44
Mon taux d'erreur sur MLC est un taux record !
Je dois laisser tomber ce projet.
3 valides pour des dizaines d'erreurs...

 :priz2tet:
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 08 November 2020 à 14:06
Pour moi, c'est 237 valides pour 28 erreurs: c'est beaucoup mais acceptable
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Dudumomo le 08 November 2020 à 15:59
7458 valides et 3437 erreurs...quand meme.......
Titre: Re : MLC@Home
Posté par: fzs600 le 08 November 2020 à 17:32
Citer
État: Tous (13910) · En cours (271) · Validation en attente (98) · Validation non concluante (2) · Valide (12600) · Invalide (102) · Erreur (835)

Et beaucoup de ces erreurs viennent du fait que je n'avais pas encore installé : Microsoft Visual C++ Redistributable for Visual Studio 2015 sur Windows.
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 08 November 2020 à 18:01
Citer
État: Tous (13910) · En cours (271) · Validation en attente (98) · Validation non concluante (2) · Valide (12600) · Invalide (102) · Erreur (835)

Et beaucoup de ces erreurs viennent du fait que je n'avais pas encore installé : Microsoft Visual C++ Redistributable for Visual Studio 2015 sur Windows.
Je ne me rappelle pas précisément, mais ça peut être la même chose pour moi
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 08 November 2020 à 18:09
Et sous Linux, vous savez s'il y a une manip spéciale à faire pour diminuer le nombre d'erreurs ?
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 08 November 2020 à 18:15
J'ai fait le tour des tâches en erreur, il n'y en a que sur les linux :) (Maurice n'est pas bien réveillé après son anniv solo hier soir)  :cpopossib:

Mais tous les autres participants sont en erreur aussi.

J'avais même pas regardé le détail des erreurs

<core_client_version>7.16.6</core_client_version>
<![CDATA[
<message>
process got signal 6</message>
<stderr_txt>
terminate called after throwing an instance of 'c10::Error'
  what():  CUDA error: forward compatibility was attempted on non supported HW
Exception raised from current_device at ../c10/cuda/CUDAFunctions.h:40 (most recent call first):
frame #0: c10::Error::Error(c10::SourceLocation, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >) + 0x69 (0x7f354b5b8eb9 in /tmp/.mount_mldsteimsrO9/usr/bin/../lib/libc10.so)
frame #1: at::cuda::getCurrentDeviceProperties() + 0x175 (0x7f34fec45355 in /tmp/.mount_mldsteimsrO9/usr/bin/../lib/libtorch_cuda.so)
frame #2: <unknown function> + 0x8ec5c (0x55de951dfc5c in ../../projects/www.mlcathome.org_mlcathome/mldstest_9.71_x86_64-pc-linux-gnu__cuda_fermi)
frame #3: __libc_start_main + 0xf3 (0x7f34fb0080b3 in /lib/x86_64-linux-gnu/libc.so.6)
frame #4: <unknown function> + 0x8d57a (0x55de951de57a in ../../projects/www.mlcathome.org_mlcathome/mldstest_9.71_x86_64-pc-linux-gnu__cuda_fermi)


</stderr_txt>
]]>
Ils font des tests sur une appli GPU depuis quelque temps, mais une majorité des erreurs sont sur la machine windows qui n'avait pas encore le bon  Microsoft Visual C++ Redistributable for Visual Studio.
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 08 November 2020 à 18:37
Et sous Linux, vous savez s'il y a une manip spéciale à faire pour diminuer le nombre d'erreurs ?
Donc sous ubuntu.
Citer
GenuineIntel
Intel(R) Core(TM) i7 CPU 870 @ 2.93GHz [Family 6 Model 30 Stepping 5]
(8 processeurs)
j'ai ceci.
Citer
État: Tous (2525) · En cours (48) · Validation en attente (16) · Validation non concluante (0) · Valide (2048) · Invalide (20) · Erreur (393)
Et sous ubuntu.
Citer
AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor [Family 21 Model 2 Stepping 0]
(8 processeurs)
J'ai ceci.
Citer
État: Tous (4458) · En cours (99) · Validation en attente (33) · Validation non concluante (1) · Valide (4255) · Invalide (13) · Erreur (57)

Donc sur ces 2 PC les dernières erreurs date du mois d'octobre et encore sur 1 des PC ce sont des annulation par le serveur et donc pas vraiment des erreurs.

 
Titre: Re : MLC@Home
Posté par: Antares le 08 November 2020 à 18:41
J'en ai que deux "annulées par le serveur"
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 08 November 2020 à 19:10
OK, vu.
Merci à vous.
Je vais laisser tomber ce projet pour le moment !
Titre: Re : MLC@Home
Posté par: franky82 le 09 November 2020 à 16:42
Hop, j'ai récupéré quelques UT test GPU (nVidia CUDA) !  :coffeetime:
(elles sont rares et dispos par courtes séries : https://www.mlcathome.org/mlcathome/server_status.php )
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 09 November 2020 à 16:57
Hop, j'ai récupéré quelques UT test GPU (nVidia CUDA) !  :coffeetime:
(elles sont rares et dispos par courtes séries : https://www.mlcathome.org/mlcathome/server_status.php )
Merci pour l'info.  :jap:

Je viens de voir j'en ai récupéré 44.
Sur Windows ça donne ceci.
Citer
   9 Nov 2020, 2:52:10 UTC    9 Nov 2020, 10:35:05 UTC    Terminé et validé    3,071.87    2,985.91    959.40    Machine Learning Dataset Generator (test) v9.70 (cuda10200)
windows_x86_64


Par contre sur Ubuntu tout part en erreur.  :cry:
Citer
   9 Nov 2020, 15:18:14 UTC    9 Nov 2020, 15:59:26 UTC    Erreur lors des calculs    2.08    0.00    ---    Machine Learning Dataset Generator (test) v9.75 (cuda10200)
x86_64-pc-linux-gnu
Titre: Re : MLC@Home
Posté par: franky82 le 09 November 2020 à 18:41
Moi, uniquement sous Windows (je n'ai pas de GPU sous Linux), aucune erreur,
et temps légèrement plus court avec ma GTX 1070 (mais même crédit attribué par UT) !
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 09 November 2020 à 19:14
Moi, uniquement sous Windows (je n'ai pas de GPU sous Linux), aucune erreur,
et temps légèrement plus court avec ma GTX 1070 (mais même crédit attribué par UT) !
Sous ubuntu l'admin laisse courir pour le moment si j'ai bien compris.
https://www.mlcathome.org/mlcathome/forum_thread.php?id=111&postid=774 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=111&postid=774)
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 10 November 2020 à 06:48
Il va distribuer les uts aux machines qui remplissent les conditions. J'espère que ma gtx-970 sera ok, sur le papier elle remplit les conditions.

Mais c'est elle qui a eu ces erreurs  :( à suivre

Ma gtx-960 sous Windows est en train de calculer une ut
MLC@Home 9.75 Machine Learning Dataset Generator (test) (cuda10200)
Durée annoncée environ 2h  :eek:

Temps 8,824.63 environ 2h et 1/2.
Titre: Re : MLC@Home
Posté par: zelandonii le 10 November 2020 à 11:17
J'en ai téléchargé un paquet ce matin qui sont encore en cours de traitement.
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 10 November 2020 à 12:06
Il y en avait 1330, j'en ai chopé 2, bande de goinfres  :cry:
Titre: Re : MLC@Home
Posté par: franky82 le 10 November 2020 à 12:25
J'ai eu du mal a en avoir, au début, mais maintenant, j'ai un petit stock de 6 à 8 UT !
Titre: Re : MLC@Home
Posté par: franky82 le 10 November 2020 à 14:00
https://www.mlcathome.org/mlcathome/forum_thread.php?id=118#792
Citer
Cette semaine dans MLC@Home
Notes pour le 9 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home

Résumé
de la (des) semaine(s) GPU, partie 3. Nous avons pris du temps la semaine dernière pour nous concentrer sur des choses autres qu'universitaires, mais quand même nous avons réussi à sortir un client Linux / CUDA mis à jour qui fonctionne maintenant sur au moins certains systèmes. Tenter de créer une seule application qui s'exécute sur plusieurs versions de système d'exploitation, de pilotes et de CUDA s'avère difficile. C'est également un cas étrange où l'application Linux se révèle plus difficile que celle de Windows ... 2020 est une chronologie vraiment étrange.

Nouvelles :
Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci : https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
Nous avons mis en place un AppPlan BOINC pour filtrer les clients qui peuvent recevoir le client CUDA qui fonctionneront. Vous aurez besoin du pilote CUDA version 440 ou supérieure, de Windows 10 ou Linux avec GLIBC 2.27 ou supérieur et d'une carte nvidia avec une capacité de calcul 3.5 ou supérieure.
Nous nous attendons à aplanir la plupart des questions de CUDA en usage général (non-bêta) pour la semaine prochaine.
Le support ROCm serait le suivant, mais il s'agit d'une priorité moindre.
Les ensembles de données 1, 2 et 3 continuent de cruncher. GRAND progrès jusqu'à présent !
Le débogage du GPU continue de prendre trop de temps, nous sommes impatients de les publier afin de pouvoir nous concentrer sur la science.

Instantané de l' état du projet :
(note ces chiffres sont approximatifs)
     * Tâches
         - Tâches prêts à envoyer : 16536
         - Tâches en cours : 22529
     * utilisateurs
         - Avec crédit : 1134
         - enregistrés au cours des dernières 24 heures : 35
     * hôtes
         - Avec crédit récent : 2097
         - enregistré au cours des dernières 24 heures : 24
     GigaFLOPS actuelles : 26267,99


Progression des ensemble de données 1 et 2 :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine              949/10005

ParityModified             308/10005
EightBitModified          6713/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression de l'ensemble de données 3 :
Citer
Overall (so far): 49317/53359
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 49317/100000
Milestone 3: 100x10000: 49317/1000000

Notes TWIM de la semaine dernière : 2 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=113)

Merci encore à tous nos bénévoles !

- Les administrateurs MLC@Home [/ s]

Titre: Re : MLC@Home
Posté par: JeromeC le 10 November 2020 à 21:08
Cool ce projet avec un admin qui communique et une équipe qui bosse :)
Titre: Re : MLC@Home
Posté par: franky82 le 11 November 2020 à 12:09
Après une version test (qui reste en cours), une application GPU séparée est apparue
https://www.mlcathome.org/mlcathome/apps.php
https://www.mlcathome.org/mlcathome/server_status.php
(ça fera une application de plus pour WuProp)
Titre: Re : MLC@Home
Posté par: zelandonii le 12 November 2020 à 09:54
J'ai une bonne moitié des UT qui partent direct en erreurs.
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 12 November 2020 à 15:06
Pour le moment, je n'ai que des erreurs sur la gtx-970 qui est sous ubuntu 20.04: j'espère qu'il arriveront à stabiliser l'appli pour linux; pour Windows pas d'erreurs avec la GPU.
Titre: Re : MLC@Home
Posté par: cougarpelardou le 12 November 2020 à 16:13
Je m'inscris et teste le GPU Le Maryland, l'état de ce projet a voté à 65% pour Biden et 33% pour le clown orange    :warf:

Ceci étant Fort Meade la base de la NSA est aussi dans le Maryland. J'espère que ce projet  n'est pas un honeypot Je fais confiance à Franky   :p600:

1 tache GPU Cuda soldée Win 10 Nvidia GTX 1660  0,6 point par seconde  :hyperbon:

Je continue

Un projet est pris en compte pour le FB à partir de combien de credits  ?
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 12 November 2020 à 16:45
 :kookoo:
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 12 November 2020 à 18:46
Oui, moi aussi, toutes les WUs pour GPU partent en erreur au bout de quelques secondes !
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 12 November 2020 à 20:33
Il n'y a aucun résultat pour l'application Machine Learning Dataset Generator (GPU) GNU/Linux alors qu'en version (test) ça a l'air bon.
https://www.mlcathome.org/mlcathome/apps.php (https://www.mlcathome.org/mlcathome/apps.php)
Titre: Re : MLC@Home
Posté par: cougarpelardou le 12 November 2020 à 20:54
Sur windows cela a l'air de marcher J'ai déjà 5 UT valides 2 en validation et 0 erreur.
Titre: Re : MLC@Home
Posté par: franky82 le 12 November 2020 à 21:15
Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !
Titre: Re : Re : MLC@Home
Posté par: Arkhenia le 12 November 2020 à 21:20
Sous Windows toutes les tâches GPU (et test GPU) passent sans problème avec ma GTX 1070 !

Idem de mon côté avec une GTX 1660, toutes les tâches faites sont Ok (ou en pending)

 :hello:
Titre: Re : MLC@Home
Posté par: franky82 le 18 November 2020 à 11:22
https://www.mlcathome.org/mlcathome/forum_thread.php?id=124#854
Citer
Cette semaine dans MLC@Home
Notes pour le 17 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC @ Home


Résumé
semaine(s) GPU, partie 4: La saga continue.

Cette semaine, nous commençons à revenir à l'écriture et à l'analyse des données existantes. Il y a encore beaucoup à discuter concernant les GPU, mais nousdevons également prendre le temps d'écrire un peu; et franchement, les problèmes avec le client Linux / CUDA nous ont déconcertés pour le moment, donc prendre une semaine ou deux pour se concentrer sur une partie de la science qui s'accumule devrait nous aider à nous éclaircir la tête et à y revenir avec une nouvelle perspective.

La semaine dernière, nous avons activé la piste de publication (application "mlds-gpu") du client GPU pour Windows et Linux, et la bonne nouvelle est qu'au moins le client Windows fonctionne plutôt bien *, et sa mastication à travers les WU à merveille, complétant le crunch du processeur qui continue sans relâche. Avoir une application séparée nous permet de capturer les exigences de RAM extrêmement différentes pour les WU CUDA sans pénaliser les crunchers du processeur. La ligne GPU nous permet d'envoyer un ensemble de données plus long 1 + 2 WU, ce qui a conduit à une belle augmentation du nombre de Parity * WU complets, ce qui signifie que nous avons enfin plus de 1000 exemples de chaque type de réseau pour Dataset1, et sur notre chemin vers cela dans le jeu de données 2. Ce serait bien de résumer ces deux choses le plus tôt possible. Nous continuerons à publier des WU en parallèle avec les files d'attente CPU et GPU pour nourrir les deux utilisateurs.

Cependant, tout ne va pas bien au pays des GPU. Nous avons publié le client Linux / CUDA, mais après plusieurs jours, pas un seul WU ne s'est terminé sans erreur, nous l'avons donc retiré de la production et nous allons réessayer. C'est incroyablement frustrant, car cela fonctionne sur notre machine de test, mais sur les machines volontaires, cela échoue avec des erreurs CUDA indiquant des incompatibilités de pilotes dans l'espace utilisateur <->. De toute évidence, nous ne les regroupons pas correctement. De plus, il y a eu des résultats étranges sur l'utilisation du processeur et le client Windows CUDA. Les utilisateurs ont signalé de meilleures performances et une meilleure utilisation s'ils attribuent deux processeurs au WU au lieu d'un, même si un cœur reste inactif tout le temps. Il y a des spéculations dans le fil lié, mais nous devrions également le retrouver bientôt.

Tout cela pour dire que nous sommes vraiment ravis que la prise en charge du GPU soit au moins partiellement active et nous donne une belle amélioration des performances, mais cela a également été plus épuisant que prévu, et nous devons nous recentrer un peu avant de s'attaquer à Linux. / CUDA à nouveau. Si des développeurs Linux / CUDA expérimentés souhaitent offrir de l'aide pour déployer notre combinaison d'applications pytorch / cuda, nous serions ravis que vous nous contactiez et que vous nous aidiez à résoudre les problèmes.

Des nouvelles plus spécifiques ci-dessous, certaines d'entre elles ne sont même pas liées au GPU !

Nouvelles :

  • Vous pouvez suivre la progression du client GPU sur plusieurs fils de discussion comme celui-ci: https://www.mlcathome.org/mlcathome/forum_thread.php?id=111
  • Nous avons activé nos systèmes de test ARM qui étaient tombés du réseau pour nous assurer que l'application ARM actuelle continue de fonctionner. Nous sommes en mesure de vérifier que nos trois systèmes de test arm32 / arm64 exécutant Debian 10 fonctionnent bien avec le dernier client, cela inclut un RPi3 (32 bits), un RPi4 (64 bits) et un CuBox-i4 ( 32 bits).
  • Les WU de l'ensemble de données 1 + 2 que nous libérons dans la file d'attente du GPU ont une limite d'époque plus grande que ceux de la file d'attente du processeur et ont une augmentation proportionnelle du crédit attribué. Nous pouvons faire un changement similaire dans la file d'attente du processeur, mais cela signifierait des durées d'exécution beaucoup plus longues, donc pour l'instant, nous voyons comment cela se passe dans la file d'attente du GPU et ferons une décision à l'avenir.
  • Nous avons passé du temps cette semaine à rechercher comment supprimer l'exigence AppImage (FUSE) sous Linux. C'est certainement possible, mais nous détestons déployer ce changement, même dans la file d'attente de test, car dans l'ensemble, appimage n'a pas causé trop de problèmes et ne veut rien faire d'inutile pour le moment. Nous avons pensé que cela pourrait aider avec les problèmes Linux / CUDA, mais ce n'est plus le cas.
  • Les ensembles de données 1, 2 et 3 continuent de croquer. GRAND progrès jusqu'à présent !
  • Nous savons que certaines pages Web sont obsolètes, et nous espérons y remédier cette semaine. Les mises à jour mises en file d'attente comprennent: une mise à jour / refaire complète de la page du jeu de données MLDS et une mise à jour de la section «configuration système requise» de la page principale pour mieux répertorier les exigences logicielles minimales.
  • Si nous divisons chacun des trois ensembles de données en 3 versions en fonction du nombre d'exemples de chaque version (100, 1000, 10000), nous sommes prêts à regrouper l'ensemble de données 1 (100, 1000), l'ensemble de données 2 (100), et jeu de données 3 (100).
  • Si vous n'êtes pas au courant du podcast réseau BOINC, les développeurs de MLC@Home s'y cachent et y contribuent parfois.
    Assurez-vous de le vérifier si vous êtes intéressé : https://www.boinc.network/ .
  • Nous espérons revenir à la préparation de Dataset 4 et rédiger un rapport / article technique pour accompagner les versions de Dataset cette semaine.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
      * Tâches prêtes à envoyer : 48470
      * Tâches en cours : 24464
 - Utilisateurs
      * avec crédit : 1190
      * Enregistré au cours des dernières 24 heures : 47
 - Hôtes
      * avec crédit récent : 2129
      * Enregistré au cours des dernières 24 heures : 25
 - GigaFLOPS actuel 33798.72


Progression des ensembles de données 1 et 2 :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine             1005/10005

ParityModified             336/10005
EightBitModified          6803/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression des ensembles de données 3 :
Citer
Overall (so far): 64502/84376
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 64502/100000
Milestone 3: 100x10000: 64502/1000000

Notes TWIM de la semaine dernière: 9 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=118)

Merci encore à tous nos bénévoles!

- La page d'accueil des administrateurs MLC@Home [/ s] : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 18 November 2020 à 12:20
OK, merci pour ces nouvelles !
Je vais réessayer avec les GPU d'ici 1 semaine.
On verra bien...
Titre: Re : MLC@Home
Posté par: franky82 le 18 November 2020 à 12:40
Je l'utilise depuis que c'est dispo, avec ma GTX 1070, et ça va bien plus vite qu'avec CPU !
Titre: Re : MLC@Home
Posté par: JeromeC le 18 November 2020 à 16:12
Sur windows, donc ?
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 18 November 2020 à 16:27
Inévitablement puisqu'il n'y a plus d'appli GNU/Linux, seulement en test.
Titre: Re : MLC@Home
Posté par: franky82 le 18 November 2020 à 16:57
Sur Windows, oui : version GPU !
(il y a une appli GPU Linux : version test)
https://www.mlcathome.org/mlcathome/apps.php
Titre: Re : MLC@Home
Posté par: modesti le 18 November 2020 à 17:49
Euh, pour la "version test" vous parlez pour GPU? Parce que j'en ai fait pas plus tard que ce matin en CPU et c'était pas estampillé "test" :desole:
Titre: Re : MLC@Home
Posté par: franky82 le 18 November 2020 à 17:58
Dans les applis dispos en cours, il ne reste que GPU Linux pour test : https://www.mlcathome.org/mlcathome/apps.php !
Peut-être en avais-tu en stock pour CPU !?
Titre: Re : MLC@Home
Posté par: modesti le 18 November 2020 à 18:01
Nan, je les ai récupérées dans la journée et je viens de voir qu'elles sont toujours en cours (96-97% d'avancement). Ce sont des "Machine Learning Dataset Generator 9.61" en CPU sous Linux.

Edith dit que de toute façon elle n'a pas de GPU :D
Titre: Re : MLC@Home
Posté par: Antares le 21 November 2020 à 18:44
Bon ben apparemment, ma gts 450 n'est pas compatible... :gno:
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 23 November 2020 à 20:49
:kookoo:
Je suis sous ubuntu-mate 20.04 et les UT GPU partent en erreur au bout de quelques secondes, aussi bien avec la GTX 1060 qu'avec la GTX 1080ti.
La nouvelle version est arrivé j'en ai récuperé une vingtaine et apparemment elle ne part pas en erreur.  :hello:
Citer
   23 Nov 2020, 16:50:18 UTC    23 Nov 2020, 19:32:06 UTC    Terminé et validé    4,216.29    4,198.05    959.40    Machine Learning Dataset Generator (test) v9.80 (cuda10200)
x86_64-pc-linux-gnu
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 23 November 2020 à 23:01
Merci fzs600, je vais essayer. :jap:
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 23 November 2020 à 23:49
Effectivement, maintenant c'est bon.
Il a fallu télécharger 25 bibliothèques pour que ça fonctionne. :priz2tet:

La GTX1060 est loin d'être gavée, elle n'est qu'à 60% avec 2 tâches. :/
Titre: Re : MLC@Home
Posté par: franky82 le 24 November 2020 à 10:54
https://www.mlcathome.org/mlcathome/forum_thread.php?id=128#881
Citer
Cette semaine dans MLC@Home
Notes pour le 24 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
BoincNetwork a fait un podcast présentant MLC@Home! Vous pouvez écouter l'épisode, y compris certains commentaires de vos administrateurs MLC, à l' adresse https://www.boinc.network/episode/mlchome . Merci à tous ceux de BoincNetwork de s'intéresser à nous.

La semaine dernière, nous avons pivoté vers l'analyse et l'écriture. Cependant, nous avons pris une dernière fissure au niveau du support Linux / CUDA, et étonnamment, cela semble avoir fait l'affaire. Nous avons publié le support Linux / CUDA dans la file d'attente principale mlds-gpu. Il y a cependant des compromis avec le nouveau client, en particulier en ce qui concerne l'espace disque requis.

Nous avons également publié la prise en charge des GPU Linux / ROCm AMD pour mldstest, mais elle n'est actuellement activée que pour les GPU VEGA 56/64 et nécessite un noyau Linux 5.0.0 ou supérieur. Veuillez consulter le lien dans la section Actualités ci-dessous pour plus de détails.

Nous avons également passé du temps à réviser la page du jeu de données MLDS sur le site Web principal. Ce n'est toujours pas parfait, mais un peu moins obsolète qu'il ne l'était, et se prépare à publier davantage les premiers ensembles de données. Avec cela et quelques analyses supplémentaires, nous travaillons à notre premier article sur l'ensemble de données. Plus de nouvelles ci-dessous.

Nouvelles :

  • Plus de détails sur la prise en charge des GPU Linux mis à jour, à la fois CUDA et ROCm, et c'est ici: https://www.mlcathome.org/mlcathome/forum_thread.php?id=127 (cadre en bas *).
  • Les derniers clients GPU suppriment l'exigence AppImage. Les clients CPU l'utilisent toujours, mais il peut être judicieux de le déposer là aussi. Voir le fil ci-dessus pour les compromis associés.
  • DS1 + DS2 continuent de progresser vers l'achèvement. Il ne reste plus que les unités de travail Parity et EightBit ! Continuez !
  • La progression de DS3 approche le jalon 2, 1000x100 .. approchant les 100000 réseaux DS3 formés. Cela aidera certainement à notre analyse continue. C'est agréable de voir le tableau de bord en bas de https://www.mlcathome.org/ passer du jaune au vert !
  • Mise à jour la page de l'ensemble de données MLDS ici : https://www.mlcathome.org/mlds.html , vous pouvez voir comment nous prévoyons actuellement de diviser les ensembles de données pour la publication.
  • Nous avons commencé à rédiger un article sur le jeu de données cette semaine et espérons revenir à la préparation du jeu de données 4 cette semaine.

Instantané de l' état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
      * Tâches prêtes à envoyer : 28803
      * Tâches en cours : 19629
 - Utilisateurs
      * avec crédit : 1251
      * Enregistré au cours des dernières 24 heures : 57
 - Hôtes
      * avec crédit récent : 2156
      * Enregistré au cours des dernières 24 heures : 19
 - GigaFLOPS actuel 36126,42


Progression des ensembles de données 1 et 2 :
Citer
SingleDirectMachine 10002/10004
EightBitMachine 10001/10006
SingleInvertMachine 10001/10003
SimpleXORMachine 10000/10002
ParityMachine 1031/10005

ParitéModifié 348/10005
EightBitModifié 6910/10006
SimpleXORModified 10005/10005
SingleDirectModifié 10004/10004
SingleInvertModifié 10002/10002

Progression des ensembles de données 3 :
Citer
Globalement (jusqu'à présent): 75935/84376
Jalon 1, 100x100: 10000/10000
Jalon 2, 100x1000: 75935/100000
Jalon 3: 100x10000: 75935/1000000

Notes TWIM de la semaine dernière: 17 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=124)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2


Citer
* Plus de détails sur la prise en charge des GPU Linux mis à jour, à la fois CUDA et ROCm

Nous avons apporté quelques modifications aux clients Linux dans mldstest et nous obtenons de meilleurs résultats, mais avec quelques compromis. Cependant, il semble que nous ayons beaucoup plus de chance avec le support GPU sous Linux maintenant!

Voici un court journal des modifications pour 9.80 dans mldstest :
 - Suppression du regroupement appimage, maintenant nous expédions simplement le binaire brut et les bibliothèques (cela a quelques compromis ...)
 - Mise à jour vers PyTorch 1.7
 - Les clients GPU nécessitent la libc 2.27 ou supérieure (Ubuntu 18.04+)
 - CUDA 10.2 ou supérieur pour NVIDIA
 - Prenez d'abord en charge les GPU AMD !


Plus de bundling
Le gros changement est que le client GPU 9.80 en test n'est plus fourni avec AppImage. C'est bien en ce sens que cela supprime la dépendance d'avoir FUSE disponible et configuré sur votre système, et le bit étrange où l'application cliente monte en fait un système de fichiers squashfs en mémoire dans / tmp sur votre système. Il supprime également une source d'erreur possible sur le système.

L'inconvénient est la taille des bibliothèques que nous devons expédier. CUDA est énorme. Notre binaire lui-même fait 8,6 Mo, mais la bibliothèque libtorch_cuda fait 1,9 Go, et plusieurs autres bibliothèques portent la taille totale de l'application + bibliothèque à 3 Go. Avec AppImage, ces bibliothèques ont été compressées et stockées sur le disque dans un système de fichiers squashfs, ce qui a réduit l'exigence sur le disque à environ 900 Mo-1,6 Go (selon la version). Pire encore, ces fichiers doivent être téléchargés dans le répertoire du projet, puis copiés dans chaque répertoire en cours d'exécution (je ne sais pas pourquoi BOINC ne fait pas de liaison ici, il nous manque peut-être un paramètre?), Donc ils prennent deux fois plus espace disque lors de son utilisation. Plus si vous avez plus d'un GPU.

Donc, en substance, nous avons échangé beaucoup plus d'espace disque pour un client plus simple qui semble mieux fonctionner sur plus de systèmes. Dans l'ensemble, nous pensons que c'est une victoire, et cela facilitera le débogage, mais surtout du côté du GPU, le coup d'espace disque n'est pas trivial. Les futures applications de processeur pourraient également s'éloigner de appimage, mais en raison du fait que les gens ont beaucoup plus de threads de processeur que de GPU, l'équation de compromis d'espace disque pourrait être différente. Prise en charge des

GPU AMD
La prise en charge de ROCm est ici, mais il y a quelques mises en garde. Le plus important est que c'est seulement pris en charge par les cartes discrètes basées sur VEGA pour le moment, ce qui signifie VEGA56 / 64, Radeon VII, plusieurs cartes MIxxx. NAVI1 et NAVI2 ne sont pas entièrement pris en charge par ROCm, la prise en charge des graphiques discrets POLARIS est (temporairement) interrompue dans ROCm 3.9, et devrait être corrigée lors de la sortie de ROCm 4.0 (annoncé la semaine dernière). Quand ROCm 4.0 sortira, je re-tournerai le client rocm avec ce qui devrait également permettre le crunching GPU basé sur POLARIS (RX 550,560,570,580,590). Les APU ne sont pas pris en charge. Windows n'est pas pris en charge.

Actuellement, le serveur ne servira que les WU ROCm aux machines avec "Radeon RX Vega" dans leur chaîne d'identifiant hôte / os et (une fois que nous aurons implémenté une correction de bogue dans le code de base de boinc) exécutera le noyau 5.0.0 ou supérieur.

Pour le moment, le support ROCm est plus lent que CUDA, mais toujours plus rapide que CPU.

Mise à jour des exigences

Pour CUDA:
capacité de calcul 3,5 ou plus
4 Go de RAM (2 Go autorisés mais peut-être trop peu pour certains WU)
CUDA 10.2 ou supérieur (et pilote compatible 455+)
GLIBC 2.27+ (Ubuntu 18.04+, Debian 10+, CentOS 8+, Fedora 28+, ou équivalent)

Pour ROCm:
carte graphique discrète basée sur Radeon VEGA (POLARIS à venir)
4 Go de RAM (2 Go autorisés mais peut-être trop peu pour certains WU)
Kernel 5.0.0 ou supérieur
GLIBC 2.27+ (Ubuntu 18.04+, Debian 10 +, CentOS 8+, Fedora 28+ ou équivalent)

Utilisation du processeur
Tous ces frameworks utilisent plusieurs threads CPU lorsqu'ils parlent au CPU. Sur ROCm et CUDA, la somme totale des pics d'utilisation du processeur dépasse 100% pour un processeur (j'ai personnellement observé des pics d'utilisation d'environ 120%). Les tentatives pour limiter cela jusqu'à présent ont échoué et ont un effet sur les performances. Mais pour être un bon citoyen de la BOINC, nous continuerons de nous attaquer et de voir si nous pouvons le ramener à un niveau raisonnable.

Résultats à ce jour
Depuis l'activation de ces deux clients de tests la nuit dernière, nous constatons un taux de réussite> 98% sur AMDROCM et CUDA ! .. si les choses continuent à bien se passer, nous passerons le client CUDA à mlds-gpu. le client ROCm restera dans mldstest un bt plus longtemps jusqu'à ce que ROCM 4.0 soit publié.

Donc, si vous pouvez tester, faites-le !

Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 24 November 2020 à 11:14
Merci franky :jap:
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 24 November 2020 à 18:15
 :jap:
Titre: Re : MLC@Home
Posté par: Antares le 24 November 2020 à 18:58
Merci, mais le client me demande de mettre à jour mon pilote graphique alors que j'ai le dernier.Je comprends pas donc pas de gpu dessus.
Titre: Re : MLC@Home
Posté par: JeromeC le 24 November 2020 à 19:45
Il est au top cet admin, avec un rapport d'activité hebdomadaire. Wow.

Merci Franky !
Titre: Re : MLC@Home
Posté par: modesti le 26 November 2020 à 19:39
Question pour ceux/celles qui font encore du MLC en CPU:
Est-ce que dans les propriétés d'une tâche vous avez aussi pas de temps de calcul? (cf capture jointe)
C'est une tâche qui a dû redémarrer pour la 2e ou 3e fois ce matin. Elle était déjà arrivée à >2 jours de calcul et je me tâte pour abandonner tout ça, parce que faire des heures OK, mais pas pour rien.
Remarquez, j'en ai eu d'autres qui ont mis trèèèèèèèèèèèès longtemps en Runtime, mais environ six fois moins en temps CPU :pt1cable:
https://www.mlcathome.org/mlcathome/results.php?hostid=185&offset=0&show_names=0&state=4&appid=
Et tout version 9.61
Titre: Re : MLC@Home
Posté par: franky82 le 26 November 2020 à 19:49
D'un autre côté, ta tâche a dépassé la date limite et a (sûrement) été annulée !  :/
Titre: Re : MLC@Home
Posté par: modesti le 26 November 2020 à 21:15
Oui, les 8 sont marquées "time out" sur le serveur, mais on peut toujours rêver de les finir quand même...
Titre: Re : MLC@Home
Posté par: franky82 le 01 December 2020 à 14:13
https://www.mlcathome.org/mlcathome/forum_thread.php?id=131#909
Citer
Cette semaine dans MLC@Home
Notes pour le 30 novembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Seulement une courte mise à jour cette semaine, car nous avons effectué une analyse sur les données collectées jusqu'à présent en préparation d'un article, et c'était un week-end de vacances dans notre partie du monde. Le nouveau client Linux / CUDA semble bien fonctionner, nous pouvons donc arrêter de spammer le fil d'actualité avec une mise à jour chaque semaine. Plus d'informations dans les actualités ci-dessous.

Nouvelles :

  • Plus de détails sur la prise en charge du GPU Linux mis à jour, à la fois CUDA et ROCm, et c'est ici, y compris une discussion récente sur l'utilisation du disque du nouveau client: https://www.mlcathome.org/mlcathome/forum_thread.php?id=127 .
  • DS1 et DS2 continuent vers l'achèvement. Nous avons modifié certains des WU pour qu'ils expirent prématurément s'ils ne semblent pas converger, dans l'espoir de pousser nos recherches vers des chemins plus susceptibles de converger bientôt. EightBitModified n'est qu'à quelques milliers de minutes de l'achèvement !
  • Les progrès de DS3 approchent de l'étape 2, 1 000 x 100 .. 100 000 réseaux DS3 formés. Cela aidera certainement à notre analyse continue. C'est agréable de voir le tableau de bord en bas de https://www.mlcathome.org/ passer du jaune au vert !
  • En analysant les données DS3 jusqu'à présent, nous avons découvert que l'ensemble de données lui-même est très volumineux (environ 100 Go pour seulement 500 x 100). Cela ralentit quelque peu l'analyse, mais c'est un bon problème à avoir. Nous pouvons réduire cela de manière significative dans une version, mais parfois traiter autant de données prend juste du temps.
  • Nous avons créé les ensembles de données DS1-100, DS1-500, DS1-1000, DS2-100, DS3-100, DS3-500 en interne, et les nettoyons et analysons les résultats. Nous espérons avoir quelques résultats (préliminaires) à partager avec la communauté, comme nous l'avons déjà publié, d'ici quelques jours.

Instantané de l' état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
      * Tâches prêtes à envoyer : 45843
      * Tâches en cours : 18569
 - Utilisateurs
      * avec crédit : 1318
      * Enregistré au cours des dernières 24 heures : 43
 - Hôtes
      * avec crédit récent : 2228
      * Enregistré au cours des dernières 24 heures : 60
 - GigaFLOPS actuel 37671.35


Progression des ensembles de données 1 et 2 :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine             1091/10005

ParityModified             391/10005
EightBitModified          7750/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002

Progression des ensembles de données 3 :
Citer
Overall (so far): 82873/101488
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 82873/100000
Milestone 3: 100x10000: 82873/1000000

Notes TWIM de la semaine dernière: 23 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=128)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: Antares le 02 December 2020 à 09:52
Pouvez-vous me confirmer que ma gts 450 n'est pas compatible avec ce projet.
Je reçois des messages me demandant de mettre a jour le pilote alors que j'ai le dernier (Nvidia 391.35)
Titre: Re : MLC@Home
Posté par: franky82 le 02 December 2020 à 10:03
Les cartes nVidia plus récentes ont le pilote 457.30.
Comme quand j'avais un GPU GT 540M, le pilote le plus récent était comme le tiens et certains projets n'acceptaient plus mon GPU !
Titre: Re : MLC@Home
Posté par: Antares le 02 December 2020 à 13:22
Je m'en doutais, tant pis je ne ferais pas de gpu desssus
Titre: Re : MLC@Home
Posté par: cougarpelardou le 02 December 2020 à 14:17
Et une petite 3060 ou 2060 au pied du sapin, si tu as été bien sage Non ?  :D

Ce modèle n’intéresse pas les cryptomineurs ou les Écossais   :lol:
Titre: Re : MLC@Home
Posté par: Antares le 02 December 2020 à 14:42
Pas les moyens...
Titre: Re : MLC@Home
Posté par: franky82 le 09 December 2020 à 18:30
https://www.mlcathome.org/mlcathome/forum_thread.php?id=135#922
Citer
Cette semaine dans MLC@Home
Notes pour le 8 décembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Beaucoup d'analyses des résultats, d'écriture sur papier et de combats avec LaTeX cette semaine. La bonne nouvelle est que, comme publié sur Twitter, (https://twitter.com/MLCHome2/status/1334346875080761344) l'ensemble de données 3 montre des réseaux similaires se regroupant dans l'espace de pondération de la même manière que les ensembles de données 1 et 2. C'est un bon résultat et actuellement en cours de rédaction dans le cadre d'un "article sur les ensembles de données" que nous préparons lorsque nous publierons les ensembles de données au public. Nous formons actuellement notre propre classificateur de réseau de neurones pour classer quels réseaux DS3 ont été formés avec quelles données DS3 en fonction uniquement de leurs poids, et nous avons de grands espoirs de bons résultats là-bas étant donné le regroupement dans le graphique lié.

Ce fut une semaine relativement calme sur les forums, mais de grands sauts dans les progrès de WU! Nous sommes à moins de 900 réseaux pour terminer les réseaux EightBitModified pour DS2, à moins de 9000 réseaux pour terminer l'étape 2 de DS3 et à moins de 80 réseaux ParityModified pour terminer DS2-500. Merci encore à
tous nos bénévoles.

Nouvelles :

  • DS1 et DS2 continuent vers l'achèvement. Il en reste moins d'un millier pour EightBitModified, ne laissant que ParityMachine / Modified pour DS1 et DS2.
  • Les progrès de DS3 approchent de l'étape 2, 1 000 x 100 .. 100 000 réseaux DS3 formés. Cela aidera certainement à notre analyse continue. C'est agréable de voir le tableau de bord en bas de https://www.mlcathome.org/ passer du jaune au vert !
  • Nous avons créé les ensembles de données DS1-100, DS1-500, DS1-1000, DS2-100, DS3-100, DS3-500 en interne, et les nettoyons et analysons les résultats. Nous aimerions avoir au moins DS2-500, DS2-1000 et DS3-1000 au plus vite pour notre analyse (DS2-1000 pourrait être un peu extensible).
  • Une fois que le jeu de données 3 aura atteint le jalon 2 (100x10000), nous mettrons probablement DS3 en pause pour nous concentrer uniquement sur l'achèvement des WU de parité pour terminer DS1 et DS2.
  • Nous n'avons pas parlé de DS4 depuis un moment, mais le travail progresse sur le client mis à jour pour gérer les CNN. Attendez-vous à ce que cela soit publié pendant ou juste après les vacances.

Instantané de l'état du projet :
(notez que ces chiffres sont approximatifs)
- Tâches
      * Tâches prêtes à envoyer : 22937
      * Tâches en cours : 21142
 - Utilisateurs
      * avec crédit : 1406
      * Enregistré au cours des dernières 24 heures : 63
 - Hôtes
      * avec crédit récent : 2314
      * Enregistré au cours des dernières 24 heures : 25
 - GigaFLOPS actuel 44334.91


Progression des ensembles de données 1 et 2 :
Citer
SingleDirectMachine      10002/10004
EightBitMachine          10001/10006
SingleInvertMachine      10001/10003
SimpleXORMachine         10000/10002
ParityMachine             1179/10005

ParityModified             428/10005
EightBitModified          9155/10006
SimpleXORModified        10005/10005
SingleDirectModified     10004/10004
SingleInvertModified     10002/10002 

Progression des ensembles de données 3 :
Citer
Overall (so far): 91044/101488
Milestone 1, 100x100:  10000/10000
Milestone 2, 100x1000: 91044/100000
Milestone 3: 100x10000: 91044/1000000

Notes TWIM de la semaine dernière: 30 novembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=131)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 09 December 2020 à 23:08
:jap:
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 11 December 2020 à 10:42
Je n'ai plus d'erreurs gpu sur linux depuis le 19 novembre, bel effort   :)
Titre: Re : MLC@Home
Posté par: franky82 le 27 December 2020 à 21:05
https://www.mlcathome.org/mlcathome/forum_thread.php?id=142
Citer
Cette semaine dans MLC@Home
Notes pour le 22 décembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Bonnes vacances de MLC!

TWIM Notes fera une pause pour les vacances, sauf s'il y a quelque chose d'urgent à mettre à jour, ce sera la dernière mise à jour pour 2020.

Quelques notes cette semaine :
* Nous sommes maintenant plus de 1 500 bénévoles indépendants!
* Nous aimerions vraiment obtenir DS2 avec un seuil de 1000 entrées pour chaque type de réseau pour l'analyse, ce qui signifie que nous avons rééquilibré certains WU pour donner la priorité aux WU à parité modifiée. À cette fin, nous avons rempli la file d'attente des tâches du GPU avec des WU ParityModified à double longueur (le crédit est double en conséquence). Cela signifie que les temps d'exécution augmenteront pour les GPU, bien qu'il y ait encore beaucoup d'anciens WUs en cours de travail, vous pouvez donc travailler plus vieux ou plus récent pendant un certain temps.
* En conséquence, nous avons rempli la file d'attente de travail du processeur avec des WU de l'ensemble de données 3 pour continuer à progresser.
* Le changement ci-dessus a conduit à deux problèmes connus qui ont été trouvés et résolus cette semaine. Premièrement, les premiers WU plus longs échouaient à la validation jusqu'au processus de validation que nous avons mis à jour, et le calcul du crédit a été désactivé pendant quelques jours (en faveur des utilisateurs). Les deux problèmes ont maintenant été corrigés, grâce à ceux qui ont signalé ces problèmes sur le forum.
* Pendant la pause, notre principal effort est de continuer à travailler sur l'analyse, la rédaction papier et la refonte de l'architecture pour simplifier la logique de validation et d'assimilation backend en arrière-plan pour aider à éviter que des problèmes comme les deux qui ont frappé cette semaine ne se produisent à l'avenir. .

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2020-12-22.png)

(https://www.mlcathome.org/status/mlds-live-status-12-22-2020.png)

Notes TWIM de la semaine dernière: 14 décembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=138)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: franky82 le 30 December 2020 à 14:15
https://www.mlcathome.org/mlcathome/forum_thread.php?id=149#982
Citer
Cette semaine dans MLC@Home
Notes pour le 28 décembre 2020
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Bonnes vacances et bonne année de la part de MLC !

Nous avons donc décidé de publier une mise à jour cette semaine de toute façon, tout d'abord, nous avons franchi l'étape 2 de l'ensemble de données 3, c'est-à-dire 1000 réseaux formés pour chacun des 100 automates générés aléatoirement! Il s'agit d'une étape importante et rend l'analyse beaucoup plus intéressante! Un autre changement important visible par l'utilisateur est que le site Web et le projet se trouvent désormais derrière un CDN. Cette énormémentréduit les besoins en bande passante sur le serveur et accélère considérablement les téléchargements des clients, et il semble y avoir peu d'effets négatifs sur le projet dans son ensemble. Si vous constatez des problèmes, veuillez les publier sur le forum afin qu'ils puissent être résolus.

Enfin, nous avons remarqué un afflux important de nouveaux bénévoles au cours de la semaine dernière. Bienvenue! Et merci de soutenir le travail scientifique que nous essayons de faire.

Plus de nouvelles ci-dessous:
 * Nous travaillons sur la refonte d'une grande partie des machines en coulisse pour la validation et l'assimilation pour mettre à jour notre gestion de NaN.
 * Nos WU mis à jour pour essayer de franchir le seuil de 1000 réseaux pour tous les WU DS2 semblent avoir un effet positif, avec près de 100 nouveaux réseaux terminés la semaine dernière. Nous continuerons ainsi jusqu'à ce que nous franchissions ce seuil.
 * Pendant la pause, notre principal effort est de continuer à travailler sur l'analyse, la rédaction papier, une nouvelle version du client ROCM, et de continuer à préparer DS4.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2020-12-28.png)

(https://www.mlcathome.org/status/mlds-live-status-12-28-2020.png)

Notes TWIM de la semaine dernière: 22 décembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=142)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 31 December 2020 à 12:22
Dommage qu'il ait pas d'appli Mac...
Titre: Re : MLC@Home
Posté par: franky82 le 07 January 2021 à 13:23
https://www.mlcathome.org/mlcathome/forum_thread.php?id=154
Citer
Cette semaine dans MLC@Home
Notes pour le 5 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Bonne année 2021 !

La semaine dernière a marqué le 6e anniversaire de ce projet, nous voulions donc revenir sur le chemin parcouru, évaluer ce qui s'est bien passé, trouver les domaines à améliorer et parler de l'avenir.

Dans l'ensemble, la réponse de la communauté a été incroyable et nous avons le sentiment d'avoir construit une base vraiment solide pour comprendre et évaluer les réseaux de neurones. Nous énumérerons certaines de nos pensées ci-dessous, et nous vous encourageons, la communauté, à commenter ci-dessous avec vos pensées.

Le bon
 - Le travail réel terminé : Vous, la communauté, avez formé plus de 260 000 réseaux de neurones pour ce projet, modélisant 110 types d'automates / machines différents, et d'autres sont en préparation. Lorsque DS3 sera terminé, nous aurons plus de 1 000 000 de réseaux formés. Il s'agit vraiment d'une contribution unique à la science et constitue une base d'étude incroyable pour les années à venir. Je peux déjà voir 3 ou 4 nouvelles lignes de recherche provenant de ce seul jeu de données.
 - Engagement de la communauté : Nous avons fait un effort particulier pour atteindre la communauté, avec des mises à jour hebdomadaires et en essayant d'être actif sur les forums et sur Twitter. Nous sommes un petit projet d'un petit laboratoire dans une petite école. Bien que cela puisse toujours être mieux, nous aimerions penser que cela a été un plus. De plus, nous avons reçu le soutien des développeurs BOINC et de la communauté en général via le serveur BOINCNetwork Discord et les listes de diffusion BOINC, qui ont été extrêmement utiles pour que le projet soit opérationnel en premier lieu.
 - La technologie : nous tirons parti de l'infrastructure BOINC et de son fonctionnement même si nos WU sont un peu hors du commun pour elle. Nous prenons en charge 2 des trois principaux systèmes d'exploitation, sur x86 et ARM, et les GPU de NVidia et AMD. Sont-ils parfaits? à peine . Il y a beaucoup à faire et nous essayons de les améliorer. Mais pendant 6 mois, nous dirons que c'est un très bon début dans l'ensemble. Le côté serveur s'est bien déroulé, car le nouveau serveur vers lequel nous avons déménagé il y a quelques mois a été d'une réelle aide. Fait amusant, pendant les premiers mois, ce projet a été exécuté sur un vieux thinkpad .. vous vous contentez de ce que vous avez.

Domaines à améliorer :
 - Publiez des articles et publiez un ensemble de données : vous méritez une publication rapide de l'ensemble de données que vous avez aidé à créer. Nous voulions vraiment que cela soit disponible maintenant, et nous estimons que nous avons maintenant suffisamment de données pour le faire. Mais il faut du temps pour écrire et du temps pour organiser / préparer / documenter l'ensemble de données pour la publication, et franchement, cela prend plus de temps que prévu. C'est sur nous, et nous y travaillons. Nous devrions envisager des jours ou des semaines, pas des mois.
 - Plates - formes plus prises en charge : Nous recherchons des développeurs ayant une expérience C ++ qui peuvent nous aider à prendre en charge de nouvelles plates-formes, en particulier OSX et Android.
 - Plus de collaborateurs du côté de la science : COVID a vraiment rendu cela encore plus difficile. Je vais être honnête, de nombreux chercheurs en ML à qui j'ai proposé cette idée n'étaient pas très intéressés dès le début car
   a) ils étaient sceptiques quant au fait que le système fonctionnerait et / ou que les gens feraient du bénévolat,
   b) nous ne soutenions pas les GPU et ou c) étaient intéressés mais n'avaient pas le temps. Maintenant que nous le faisons, et que notre réserve de bénévoles a augmenté en général, nous devons nous réengager. Les résultats publiés aideront notre cas.
 - Il s'agit toujours d'une opération à une personne : si je peux me permettre une minute personnelle, la plupart de ce qui précède est dû au fait qu'il s'agit encore d'une opération à une personne pour la plupart, et à une personne qui n'est qu'un doctorant à temps partiel avec un emploi à temps plein et une famille en plus de diriger ce projet. Ce n'est pas comme si j'étais un étudiant diplômé régulier qui pouvait passer des heures par jour dans un laboratoire et écrire, que ce soit du code ou des articles. Je vole tout le temps que je peux la nuit et le week-end. Faire un doctorat à temps partiel est déjà assez difficile, choisir de créer, développer, surveiller et modérer tout un projet informatique de bénévolat en plus de cela est franchement un peu fou. Mais je suis passionné par le travail que nous faisons ici et je veux le voir réussir. Et je suis convaincu que ce sera le cas.
Remarque: j'essaie de dire «nous» lorsque j'agis en tant qu'administrateur de projet parce que je sens que finalement il y aura plus que moi, mais ce n'est pas (encore) le cas.

Ce que l'avenir nous réserve :
 - MLDS : Publiez, les deux premières séries d'ensembles de données et un article ou deux. C'est notre priorité absolue.
 - MLDS : DS4 passera à la formation des CNN pour la classification des images, ce qui conduira à un tout nouvel ensemble d'idées et de questions.
 - Il est important que MLC se développe et continue de se développer au-delà de l'application MLDS. Par conséquent, engagez-vous avec de nouveaux chercheurs et des axes de recherche qui se prêtent à notre architecture de projet unique. La recherche d'hyperparamètres et d'architecture semble parfaitement adaptée à notre système.

Il y a beaucoup plus de choses que nous pourrions mentionner, comme les modifications apportées aux validations (certaines bonnes, certaines… sans erreur), la réalisation d'un podcast sur le projet, la générosité que nous avons reçue des autres administrateurs du projet pour nous aider à prendre pied sous nous. Et, bien sûr, des badges. En tant qu'administrateurs, nous avons beaucoup appris sur la façon de gérer un projet, et malgré quelques trébuchements, nous espérons que vous trouverez la science convaincante, le projet intéressant et la communauté accueillante.

À 6 mois, nous sommes sur le point d'obtenir de vrais résultats, qui devraient nourrir beaucoup plus de science intéressante. Merci à tous nos bénévoles pour avoir contribué à faire avancer la science de l'apprentissage automatique et nous espérons vous donner des raisons de continuer à nous soutenir pendant de nombreuses années.

Si vous avez des commentaires, veuillez les laisser dans les commentaires ci-dessous.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-01-05.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-01-05.png)

Notes TWIM de la semaine dernière: 28 décembre 2020 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=149)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 07 January 2021 à 20:30
Super cet admin, je suis allé le féliciter sur ton forum, surtout maintenant qu'on sait qu'il est tout seul.

Si seulement il pouvait résister, ou trouver de l'aide.
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 07 January 2021 à 21:10
Je ne sais pas s'il tiendra longtemps à ce rythme !
Titre: Re : MLC@Home
Posté par: modesti le 07 January 2021 à 21:16
C'est le même problème pour beaucoup de projets :/
Titre: Re : MLC@Home
Posté par: RLDF le 07 January 2021 à 22:45
Nouvelle appli GPU, j'ai plein de tâche, nouvelle appli dans wuprop  :oki:
Titre: Re : MLC@Home
Posté par: JeromeC le 08 January 2021 à 11:47
Oui, le risque de burnout est réel  :electric:
Titre: Re : MLC@Home
Posté par: TheStressMan le 08 January 2021 à 15:51
Bonjour,

Quelle est la fréquence de mise à jour des badges ?

 :kookoo:
Titre: Re : MLC@Home
Posté par: naz le 08 January 2021 à 22:28
1 fois par jour comme pour tout les autres  :kookoo:
Titre: Re : MLC@Home
Posté par: TheStressMan le 09 January 2021 à 00:24
Ok.
Je viens d'avoir mon 1er MLC.
 :kookoo:
Titre: Re : MLC@Home
Posté par: franky82 le 27 January 2021 à 17:14
Suite à 10 jours sans mon ordi principal, je suis en retard sur les mises-à-jour de MLC.

https://www.mlcathome.org/mlcathome/forum_thread.php?id=158
Citer
Cette semaine dans MLC@Home
Notes pour le 18 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Après une semaine de pause, nous sommes de retour avec notre mise à jour hebdomadaire régulière. Beaucoup de temps passé à écrire, surtout ces derniers jours (long week-end aux États-Unis). Au niveau des projets, nous avons fait de réels progrès dans le nettoyage du processus de validation et d'assimilation en préparation de DS4.

Nouvelles détaillées
 - L'écriture est la priorité absolue. Il serait préférable d'avoir 1000 exemples chacun pour les exemples DS1 / DS2, et nous en avons besoin d'environ 160 de plus pour ParityModified. Nous sommes proches cependant, et nous en serons peut-être plus de 1000 d'ici la semaine prochaine.
 - La file d'attente modstest exécute déjà un processus de validation amélioré. Jusqu'à présent, cela se passe bien et se déploiera également dans les autres files d'attente. Il n'y a pas de changements visibles par l'utilisateur, mais de nombreux changements internes pour faciliter la maintenance et les tests.
 - Peu de progrès sur le support client pour DS4, il reste partiellement implémenté mais pas encore prêt pour les tests. Mais les ensembles de données pour DS4 ont été générés il y a des semaines, avec la priorité d'écriture dernièrement par rapport à DS4.
 - Nous avons envisagé de mettre à jour le client ROCm pour activer la prise en charge de POLARIS et passer à ROCm 4.0 (et éventuellement une prise en charge de NAVI), mais PyTorch ne prend pas encore en charge la version 4.0, et nous avons encore besoin d'un peu plus de temps pour passer à ROCm 3.10 pour activer la prise en charge de POLARIS .

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-01-18.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-01-18.png)

Notes TWIM de la semaine dernière: 5 janvier 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=154)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2




https://www.mlcathome.org/mlcathome/forum_thread.php?id=164
Citer
Cette semaine dans MLC@Home
Notes pour le 26 janvier 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
La semaine dernière a été consacrée à la rédaction et à la préparation des ensembles de données pour la publication, donc seulement une brève mise à jour cette semaine avec les dernières statistiques.

Nouvelles détaillées
 - Aucun cette semaine.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-01-26.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-01-26.png)

Notes TWIM de la semaine dernière: 18 janvier 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=158)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: franky82 le 09 February 2021 à 15:11
https://www.mlcathome.org/mlcathome/forum_thread.php?id=171
Citer
Cette semaine dans MLC@Home
Notes pour le 8 février 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
C'est la semaine du jeu de données !

Nous avons travaillé dans les coulisses sur un papier pour l'analyse des résultats que vous, nos bénévoles, avez créés jusqu'à présent. L'article est toujours en cours, mais nous avons attendu assez longtemps pour publier les ensembles de données eux-mêmes. Au cours des prochains jours, vous verrez de plus en plus d'ensembles de données disponibles au téléchargement sur https://www.mlcathome.org/mlds.html .

Chaque archive d'ensemble de données contient un fichier README.md avec des détails sur ce qui est inclus et des informations sur la façon de l'utiliser. Chaque réseau formé se trouve dans son propre répertoire, avec à la fois la version PyTorch native du modèle enregistré, un fichier JSON contenant les poids appris et des métadonnées sur chaque réseau formé, y compris un historique de formation.

Les ensembles de données actuellement disponibles sont:

 - MLDS-DS1: 100 / ea, 500 / ea, 1000 / ea. (5000 / ea et 10000 / ea en cours de calcul)
 - MLDS-DS2: 100 / ea, 500 / ea, 1000 / ea. (5000 / ea et 10000 / ea toujours en cours de calcul)
 - MLDS-DS3: 100 / ea (500 / ea et 1000 / ea zipping / uploading, 5000 / ea et 10000 / ea toujours en calcul)

Ces derniers ensembles de données sont si volumineux qu'ils seraient meilleurs sous forme de torrents, nous pouvons donc les rendre disponibles uniquement sous forme de torrents. Pour les chercheurs, si vous utilisez ces ensembles de données, je vous demande a) de nous le faire savoir et b) de citer notre article lorsqu'il sera disponible.

Nouvelles détaillées
 - Beaucoup de bon travail sur un papier ; Restez à l'écoute du compte Twitter pour quelques graphiques et tableaux au cours de la semaine prochaine.
 - La création de l'archive du jeu de données prend beaucoup de temps, en raison du grand nombre de fichiers, et la compression xz n'est pas exactement rapide. Ainsi, DS3-500 et DS3-1000 peuvent prendre un peu de temps pour être compressés / téléchargés.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-02-08.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-02-08.png)

Notes TWIM de la semaine dernière: 1er février 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=165)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 10 February 2021 à 09:29
Merci encore à tous nos bénévoles !
Et merci encore au journaliste :)
Titre: Re : MLC@Home
Posté par: franky82 le 24 February 2021 à 11:20
https://www.mlcathome.org/mlcathome/forum_thread.php?id=179
Citer
Cette semaine dans MLC@Home
Notes pour le 23 février 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Une petite mise à jour cette semaine car il n'y a pas beaucoup de nouvelles dans l'ensemble. Honnêtement, votre serviteur a été un peu débordé par d'autres choses dans la vie et a dû s'occuper de certaines autres choses la semaine dernière. Donc, nous sommes de retour cette semaine, et à part une file d'attente de processeur inopinément vide pendant environ une demi-journée la semaine dernière (corrigée depuis), le projet s'est poursuivi et vous, les volontaires, avez découpé un autre gros morceau de jeux de données 1, 2 et 3.

Le document avance bien, et nous sommes enfin satisfaits des données et de l'analyse que nous souhaitons à ce stade, il ne s'agit donc que d'écrire. Certains tableaux et graphiques ont été publiés sur Twitter si vous souhaitez suivre. Honnêtement, nous sommes en retard d'environ 3 mois pour le publier au moins sur arXiv, mais nous espérons que cela en vaudra la peine. La majeure partie de ce temps a été consacrée à peaufiner les algorithmes pour obtenir de meilleurs résultats, et les ensembles de données / vecteurs de caractéristiques sont trop grands pour un GPU de 8 Go, il s'agit donc principalement de formation du processeur. 18 heures pour une époque, ce n'est pas rare. Du bon côté, ce que nous apprenons en faisant cela aidera DS4 lorsqu'il sera disponible.

Les DS3-500 et DS3-1000 sont complets et prêts à être téléchargés, mais nous décidons toujours du meilleur endroit pour héberger des fichiers aussi volumineux. L'amorçage d'un torrent sur le serveur principal réduirait la bande passante déjà limitée. Nous aurons besoin d'une meilleure solution, pour l'instant, elles existent sur un lecteur de données sauvegardé et disponibles sur demande individuelle.

Autres nouvelles
 - DS4 reste en attente jusqu'à ce que le papier soit terminé.
 - Nous discutons en interne d'autoriser Gridcoin à ajouter ce projet à la liste blanche. Si la communauté MLC a des opinions bien arrêtées, veuillez les publier ci-dessous. Il y a encore une ou deux choses que nous voulons changer avant cela de toute façon, mais la liste des obstacles techniques de notre côté est presque vide.
- Rappel: le client MLC est open source, et a une liste de problèmes sur gitlab (https://gitlab.com/mlcathome/mlds) . Si vous êtes un programmeur de données scientifiques et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête de modification.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-02-23.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-02-23.png)

Notes TWIM de la semaine dernière: 8 février 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=171)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 24 February 2021 à 13:22
Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...
Titre: Re : MLC@Home
Posté par: cougarpelardou le 24 February 2021 à 14:32
quasiment tous les projets sont whitelist de LHC à Amicable en passant par Yoyo    ...
Titre: Re : Re : MLC@Home
Posté par: Jeannot Le Tazon le 27 February 2021 à 18:01
Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...
:jap: quels sont les points négatifs et positifs de cette ouverture à Gridcoin ?
Titre: Re : MLC@Home
Posté par: JeromeC le 27 February 2021 à 18:05
Bah c'est juste que j'aime pas GC et son concept, pas plus que les crypto-monnaies d'ailleurs :o après y'a ptet des gens très bien qui y participent :)
Titre: Re : Re : Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 27 February 2021 à 18:40
Wesh ils veulent l'ouvrir à Gridcoin c'est la fin des haricots...
:jap: quels sont les points négatifs et positifs de cette ouverture à Gridcoin ?

Je pense que dès qu'il y a possibilité de gagner du fric, il commence à y avoir de la tricherie !
Je me rappelle de Collatz qui a failli capoter car des tricheurs avaient crée de fausses WUs pour être faussement rémunérées, si je me rappelle bien, ou quelque chose de ce genre.
L'administrateur avait été très courageux de tout "réparer" pour relancer le projet.
Titre: Re : MLC@Home
Posté par: JeromeC le 28 February 2021 à 11:07
Oui je pense même que ça n'a pas été le seul exemple. Mais j'ai tendance à oublier les détails des choses désagréables...
Titre: Re : MLC@Home
Posté par: franky82 le 10 March 2021 à 20:58
https://www.mlcathome.org/mlcathome/forum_thread.php?id=182
Citer
Cette semaine dans MLC@Home
Notes pour le 9 mars 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Le document en cours de rédaction est en cours de révision / révision en interne. Cela prendra un tour ou deux avant de publier sur arXiv et de rechercher une conférence à soumettre. Il y a eu des résultats déroutants avec l'une des machines DS2 qui peuvent nous obliger à recalculer certains de ces WU avec des données d'entraînement mises à jour, mais ceux-ci étaient rapides à calculer et nos volontaires ne tarderont pas à les refaire si nécessaire.

Cela signifie que nous avons commencé à examiner les mises à jour des clients et DS4! Nous avons commencé ce week-end sur le client v9.90, pour lequel nous ciblons les fonctionnalités suivantes :
 - Mettre à niveau vers PyTorch v1.8
 - Prise en charge de DS4! .. Nos premiers réseaux CNN.
 - Mise à niveau ROCm vers 4.0 / 4.0.1 (prise en charge de Polaris)
 - Réexaminer les performances / l'utilisation du GPU
 - Liaison statique pour au moins le client CPU (peut-être GPU aussi). Cela n'est peut-être pas possible, mais ce serait un avantage appréciable de passer à PyTorch v1.8

La grande caractéristique de conduite est la prise en charge du modèle DS4. Les données sont prêtes à être analysées, mais le modèle doit être inclus dans le client et testé.

Autres nouvelles
 - Si vous souhaitez demander l'un des plus grands ensembles de données, pour le moment, veuillez nous contacter en privé et nous vous fournirons un lien de téléchargement. C'est la meilleure position de compromis jusqu'à ce que nous ayons une meilleure option.
 - Nous apprécions les commentaires sur Gridcoin de notre dernière mise à jour. Nous continuons à surmonter les obstacles techniques de notre côté que nous considérons comme une exigence pour le gridcoin, mais cela contribuera également à la robustesse du projet dans son ensemble.
 - Nous recherchons des exemples intéressants de problèmes qui peuvent être résolus avec des réseaux à anticipation petits à moyens pour un DS5 potentiel. Nous pourrions faire MNIST, mais peut-être que quelque chose d'un peu plus intéressant serait plus amusant. Il est très évident que le premier commentaire que nous aurons sur le papier est "pourquoi avez-vous utilisé des RNN?", Nous aimerions donc éviter cela tôt.
 - Rappel: le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur de data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une pull request.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-03-09.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-03-09.png)

Notes TWIM de la semaine dernière: 23 février 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=179)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: modesti le 07 April 2021 à 23:18
:hello:
J'avoue que je n'ai pas le temps de lire les CR hebdomadaires du projet (c'est sûrement un tort, et le tort tue - lentement, mais je ne suis pas pressée :D ), j'ai juste une question: est-il prévu de mettre en place des points de sauvegarde?

Parce qu'avec mes soucis électriques j'ai recommencé à éteindre l'ordinateur le soir avant d'aller au lit et là j'ai plusieurs MLC en cours: entre 4h46 (56%) et 12h55 (89.4%), avec une majorité autour de 9h20 pour +-80% d'avancement...
Titre: Re : MLC@Home
Posté par: JeromeC le 07 April 2021 à 23:34
Ben faut faire une hibernation au lieu d'un arrêt non ? la version longue (avec sauvegarde de toute la RAM sur le disque) pas la version courte et rapide (nécessitant une alimentation constante), y'a moyen de faire ça dans windowz non ?
Titre: Re : MLC@Home
Posté par: modesti le 08 April 2021 à 08:22
1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
Titre: Re : MLC@Home
Posté par: Maeda le 08 April 2021 à 08:33
Ça existe aussi sur Linux et surtout ça pompe moins de courant en hibernation, donc ton ordi pourrait tenir la nuit en "pause".
Titre: Re : Re : MLC@Home
Posté par: melektha le 08 April 2021 à 08:54
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:

Hum... si tu es un minimum bricoleuse, tu peux remplacer la batterie de ton UPS par une batterie de voiture  :lol:
Tu auras presque 10x plus d'autonomie... faut juste que tu aies assez de temps sans panne pour la recharger!
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 08 April 2021 à 09:01
1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
Y a pas d'alarme sonore sur l'onduleur ?
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 08 April 2021 à 17:09
1) L'ordi est sous Linux (Manjaro)
2) Quand ça coupe au milieu de la nuit, l'onduleur n'arrive pas à tenir jusqu'à ce que je me lève :spamafote:
:kookoo:
Si ton onduleur est rellié au PC par USB tu peux lui faire envoyer automatiquement lors d'une coupure une commande au PC via boinccmd pour suspendre les calculs. Ça permet de gagner énormément d'autonomie. Je l'ai fait pour couper automatiquement le calcul GPU et faire redémarrer lors du retour du secteur avec mon Ellipse Max 1100 de MGE.
voir la commande --set_run_mode {always | auto | never} pour tous les calculs ou --set_gpu_mode {always | auto | never} pour les calculs GPU :

https://boinc.berkeley.edu/wiki/Boinccmd_tool (https://boinc.berkeley.edu/wiki/Boinccmd_tool)
Titre: Re : MLC@Home
Posté par: modesti le 08 April 2021 à 21:47
Ça existe aussi sur Linux et surtout ça pompe moins de courant en hibernation, donc ton ordi pourrait tenir la nuit en "pause".
C'est le mode "Mettre en pause" dans le menu de fermeture? Faudra que je teste

Hum... si tu es un minimum bricoleuse, tu peux remplacer la batterie de ton UPS par une batterie de voiture  :lol:
Tu auras presque 10x plus d'autonomie... faut juste que tu aies assez de temps sans panne pour la recharger!
:lol:

Y a pas d'alarme sonore sur l'onduleur ?
Si, mais tu connais les locaux: le bureau est au RDC et je dors à l'étage. En plus la porte du bureau est fermée normalement  :spamafote:

:kookoo:
Si ton onduleur est rellié au PC par USB tu peux lui faire envoyer automatiquement lors d'une coupure une commande au PC via boinccmd pour suspendre les calculs. Ça permet de gagner énormément d'autonomie. Je l'ai fait pour couper automatiquement le calcul GPU et faire redémarrer lors du retour du secteur avec mon Ellipse Max 1100 de MGE.
voir la commande --set_run_mode {always | auto | never} pour tous les calculs ou --set_gpu_mode {always | auto | never} pour les calculs GPU :

https://boinc.berkeley.edu/wiki/Boinccmd_tool (https://boinc.berkeley.edu/wiki/Boinccmd_tool)
C'est configuré dans les préférences du BM: pas de calcul si ordi sur batterie. L'onduleur est bien relié au PC pour l'éteindre proprement quand la batterie atteint 20% de charge ;) Mais ça ne résout pas le problème des tâches sans point de sauvegarde :spamafote:
Titre: Re : MLC@Home
Posté par: JeromeC le 08 April 2021 à 21:52
Si l'ordi est sur onduleur je suppose que pour lui c'est comme être sur secteur, il voit pas la différence, et donc boinc se mettra jamais en veille...

Et c'est sûr que la conso boinc ON/OFF est pas exactement la même :)

Sinon linux connait suspend et hibernation, mais visiblement c'est pas toujours très évident (https://www.linuxquestions.org/questions/debian-26/debian-buster-hibernation-on-several-laptops-4175654626/)...
Titre: Re : MLC@Home
Posté par: modesti le 08 April 2021 à 22:01
Si si, il sait qu'il est sur batterie: il m'affiche une icône dans la barre de tâche et un message "l'onduleur se décharge" quand le courant se coupe.
Pour l'hibernation, je verrai ça quand j'aurai un moment (un soir du WE à venir avec un peu de chance :D )
Titre: Re : MLC@Home
Posté par: Maeda le 08 April 2021 à 22:09
C'est pour Arch, mais avec un assez gros fichier (ou disque) de swap :

Suspend to disk method saves the machine's state into swap space and completely powers off the machine. When the machine is powered on, the state is restored. Until then, there is zero power consumption.
Source wiki Arch (https://wiki.archlinux.org/index.php/Power_management/Suspend_and_hibernate)
Titre: Re : MLC@Home
Posté par: modesti le 08 April 2021 à 23:05
Merci pour le lien Maeda :jap:
Lirai ça à tête reposée.
Titre: Re : MLC@Home
Posté par: franky82 le 09 April 2021 à 10:21
https://www.mlcathome.org/mlcathome/forum_thread.php?id=189
Citer
Cette semaine dans MLC@Home
Notes pour le 8 avril 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Beaucoup de choses se passent dans les coulisses ces dernières semaines. Tout d'abord, le serveur Discord est opérationnel, avec de belles discussions à partir de là. Nous avons également progressé sur la prochaine version du client, en faisant fonctionner les versions statiques pour les clients CPU sur amd64, armv7 et aarch64. Nous avons également commencé à travailler sur DS4, comme nous en avons parlé dans le dernier article de presse.

La grande nouvelle cette semaine est que l'atelier BOINC 2021 se déroule la semaine prochaine, le mercredi 14 avril, et MLC @ Home présentera à 14 h 10, heure de l'Est. Vous pouvez voir l'ordre du jour et plus d'informations sur le site Web principal (https://www.boincworkshop.org/) ou sur notre fil de discussion (https://www.mlcathome.org/mlcathome/forum_thread.php?id=187) local.

Nous avons de grands projets pour nos 15 minutes d'intervention. Nous considérons que c'est notre chance de présenter ce projet à un public beaucoup plus large. Non seulement nous donnerons une introduction à la science, mais nous publierons également le document sur arXiv mercredi et parlerons de certains des résultats, ainsi que de nos projets pour l'avenir. Rien de tout cela ne sera une surprise pour les gens ici, mais ceux qui ne suivent pas le projet auront la chance d'entendre ce que nous faisons et de nous juger sur nos mérites. La présentation sera enregistrée et publiée sur youtube et ici.

J'ai vraiment hâte de mercredi et j'espère que vous serez nombreux à nous rejoindre !

Autres nouvelles
 - Beaucoup de progrès sur DS3. Des progrès fantastiques, nous entrons dans la dernière ligne droite pour cela.
 - Le serveur Discord a des robots pour publier lorsque de nouveaux fils de discussion sont créés et surveillés
 - Aucune mise à jour sur le support Gridcoin.
 - Rappel : le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur de data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une pull request.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-04-08.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-04-08.png)

Notes TWIM de la semaine dernière: 23 mars 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=184)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: DocPhilou1966 le 11 April 2021 à 18:27
 :hello:
Au sujet de ce projet, quelqu'un maitrise ?
Sur GPU (nVidia) environ 12 à 13 % de charge (GTX1080)
Et surtout durée de calcul idem CPU, donc très très long.
Au vu des stats de certains, il doit y avoir des app 'améliorées', mais où ?
 :jap: :hello:
Titre: Re : MLC@Home
Posté par: franky82 le 22 April 2021 à 15:12
https://www.mlcathome.org/mlcathome/forum_thread.php?id=192
Citer
Cette semaine dans MLC@Home
Notes pour le 22 avril 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Ces dernières semaines ont été très chargées pour MLC@Home !

Le 14/04/2021, MLC a fait une présentation à l'atelier BOINC 2021. Les diapositives sont disponibles ici (https://www.mlcathome.org/analysis/mlcathome-boinc-workshop-2021-presentation.pdf). La vidéo de la présentation sera publiée sous peu sur Youtube (https://www.youtube.com/channel/UC1YM32SpdGnb1S5b5gUJPyQ). Le 21/04/2021, nous avons participé au deuxième jour de l'atelier en tant que membre d'un panel sur la pratique de l'IA (intelligence artificielle) / ML (Machine Learning) en utilisant BOINC. Des vidéos à ce sujet devraient également être publiées sous peu. Il était clair que l'utilisation de BOINC pour IA / ML suscitait beaucoup d'intérêt, et il est également clair que MLC est à la pointe de cet intérêt.

Plus important encore, MLC@Home a publié aujourd'hui le premier article basé sur le jeu de données MLDS calculé par nos bénévoles !
MLDS: un ensemble de données pour l'analyse de l'espace de poids des réseaux de neurones (https://arxiv.org/abs/2104.10555)

Dans cet article, nous montrons un regroupement significatif dans l'espace de poids pour les réseaux qui sont formés sur les mêmes données. Comme toute bonne science, ces résultats préliminaires déclenchent autant de nouvelles questions que de réponses.

Dans l'ensemble, alors que nous continuons à travailler sur DS4, il y a beaucoup de grandes choses en cours pour l'avenir de MLC. Merci encore pour le soutien que vous avez montré à MLC, et nous espérons continuer à gagner votre soutien à mesure que nous avançons.

Autres nouvelles
 - Beaucoup de progrès sur DS3, nous avons terminés à 75%. C'est agréable de voir du vert apparaître sur le tableau de bord.
 - Nous avons commencé à diffuser en direct certaines sessions de codage sur le serveur Discord alors que nous travaillons sur la prise en charge de DS4.
 - Rappel : le client MLC est open source et a une liste de questions/problèmes sur gitlab (https://gitlab.com/mlcathome/mlds). Si vous êtes un programmeur ou un spécialiste des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-04-22.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-04-22.png)

Notes TWIM de la semaine dernière: 8 mars 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=189)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 22 April 2021 à 17:07
Super ce projet comment il est animé et comment il communique quand même ! Un cas d'école !!

Merci Franky, vas-y, etc. :D
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 22 April 2021 à 18:00
Super ce projet comment il est animé et comment il communique quand même ! Un cas d'école !!

Merci Franky, vas-y, etc. :D
:+1:
Titre: Re : MLC@Home
Posté par: [AF] Kalianthys le 22 April 2021 à 19:46
J'ai un problème avec ce projet quand le crunche en GPU. Mes tâches ne se terminent jamais. Testé avec des cartes de générations différentes GTX1650 et RTX3090. A chaque fois je suis obliger de les abandonner.

Tout va bien en CPU.

Suis-je le seul ?
Avez-vous une idée ?

Kali.
Titre: Re : MLC@Home
Posté par: cougarpelardou le 23 April 2021 à 12:16
C'est récent ? Il y a une semaine j'en ai crunché sans problème avec une GTX1660
Titre: Re : MLC@Home
Posté par: Arkhenia le 23 April 2021 à 13:25
 :kookoo:

Je n'en fais lus depuis 15 jours passage sur PG et SRBase) mais je crunche en GPU sur MLC sans problème avec une GTX 1050 et une GTX 1650

A l'occasion je testerais de nouveau pour voir ce que cela donne

 :kookoo:
Titre: Re : MLC@Home
Posté par: franky82 le 02 May 2021 à 19:54
https://www.mlcathome.org/mlcathome/forum_thread.php?id=199
Citer
Cette semaine dans MLC@Home
Notes pour le 1er mai 2021
Un résumé hebdomadaire des nouvelles et des notes pour MLC@Home


Résumé
Une mise à jour attendue cette semaine.

Tout d'abord, nous avons eu un petit problème de serveur ce matin, 1er mai, et nous sommes restés en panne pendant environ 10 heures jusqu'à ce qu'il soit résolu. Aucune donnée n'a été perdue et nous avons pu redémarrer sans autre problème, bien que certaines UT aient pu être marqués comme invalides en raison de l'état instable du système lors de sa panne, nous examinons cela pour le moment. C'est le premier temps d'arrêt imprévu depuis longtemps. Heureusement, nous avons été très stables depuis le passage au nouveau serveur l'année dernière.

Deuxièmement, grâce à un utilisateur astucieux, nous avons remarqué une tendance dans les nouvelles distributions Linux qui affectent les clients MLC (ainsi que d'autres comme Einstein@Home et LHC). Certaines distributions utilisent les capacités de sandboxing de systemd pour empêcher le client BOINC et toutes les applications de projet d'interagir avec le reste du système pour des raisons de sécurité. Malheureusement, les clients basés sur appimage de MLC utilisent / tmp, qui est maintenant limité dans le cadre de cette nouvelle politique. Nous avons identifié cela comme un problème avec Ubuntu 21.04 et Gentoo, et peut devenir un problème plus tard pour d'autres distributions basées sur systemd. Pour l'instant, une solution de contournement est répertoriée dans nos forums https://www.mlcathome.org/mlcathome/forum_thread.php?id=198 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=198) . La prochaine mise à jour du client supprimera le support appimage et ne sera donc pas affectée par le problème à l'avenir.

Nous avons également passé du temps à travailler sur le client ROCm et à le faire fonctionner avec Radeon VII ainsi qu'avec la carte graphique VEGA. Malheureusement, le client actuel vous oblige à installer rocm-3.9.0 sur votre système.

En parlant de la prochaine version du client, le support DS4 est implémenté et fonctionne, nous espérons donc déployer le nouveau client CPU avec quelques UT de test la semaine prochaine. Les fonctionnalités incluent la prise en charge de CNN (DS4), la liaison statique, (plus d'appimage!), Et quelques corrections mineures.

Autres nouvelles
 - Beaucoup de progrès sur DS3, nous avons terminé à environ 80%. C'est agréable de voir du vert apparaître sur le tableau de bord.
 - Nous avons participé aux semaines 2 et 3 de l'atelier BOINC, et nous attendons avec impatience que l'atelier publie les vidéos bientôt.
 - Nous recherchons des conférences / ateliers pour soumettre notre article publié.
 - Rappel : le client MLC est open source, et a une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un data scientist et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une requête.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-05-01.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-05-01.png)

Notes TWIM de la semaine dernière: 22 avril 2021 (https://forum.boinc-af.org/index.php/topic,8332.msg515238.html#msg515238)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: fzs600 le 17 May 2021 à 07:12
New client testing has started
https://www.mlcathome.org/mlcathome/forum_thread.php?id=201&postid=1198 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=201&postid=1198)
Citer
Nous avons publié une nouvelle version du client CPU linux (avec support DS4) dans le canal mldstest.

C'est le plus grand changement dans la façon dont le client est construit et exécuté depuis le début du projet, donc nous nous attendons à un peu de chaos. Nous avons déjà rencontré un problème où l'application fonctionne bien en mode autonome, mais se bloque lors du chargement du jeu de données lorsqu'elle est exécutée sous le client boinc. Il faut donc s'attendre à des problèmes sur le canal de test au cours des prochains jours, le temps que nous résolvions ces problèmes.

Voici les changements significatifs :

* Support DS4 (CNN)
* Plus d'appimage, à la place nous avons un binaire lié statiquement. Donc un seul fichier à télécharger
* Testé en standalone pour fonctionner sur CentOS 7 (nouveau), ubuntu 21.04, 20.04, 16.04, et debian 10 et 11, sur AMD et Intel.
* Compile HDF5, OpenBLAS, et PyTorch directement dans le binaire.
* Mise à jour vers PyTorch v1.8.

Et beaucoup d'autres petites corrections/changements pour supporter DS4. Cela devrait nous permettre d'être prêts pour de nombreux mois à venir, alors s'il vous plaît soyez indulgents avec nous pendant que nous réglons les problèmes maintenant.

Les clients GPU, Windows et ARM suivront dès que le client CPU linux de base fonctionnera.

Traduit avec www.DeepL.com/Translator (version gratuite)
Titre: Re : MLC@Home
Posté par: fzs600 le 17 May 2021 à 07:13
 :/
Citer
   17 May 2021, 4:45:53 UTC    17 May 2021, 4:47:25 UTC    Erreur lors des calculs    4.19    0.00    ---    Machine Learning Dataset Generator (test) v9.89
x86_64-pc-linux-gnu
Titre: Re : MLC@Home
Posté par: franky82 le 09 June 2021 à 09:30
https://www.mlcathome.org/mlcathome/forum_thread.php?id=203
Citer
Cette semaine Ce mois-ci dans MLC@Home
Notes pour le 8 juin 2021
Un résumé mensuel des nouvelles et des notes pour MLC@Home


Résumé
Les mises à jour sont arrivées lentement ces derniers mois, depuis la présentation à l'atelier BOINC et la publication de notre article initial, alors que nous ajustons personnellement (heureusement !) les débuts d'une vie post-pandémique. Le travail, la vie de famille et tout change pour beaucoup d'entre nous, et nous essayons toujours de comprendre la nouvelle normalité. Pour cette raison, à l'avenir, ces mises à jour seront mensuelles car elles prennent un peu de temps à assembler et nous ne parvenons pas à les sortir chaque semaine depuis un certain temps maintenant de toute façon. Et voici en espérant que tous nos volontaires du monde entier se trouvent dans une zone où eux aussi peuvent commencer à dépasser le pire de la pandémie.

Mais cela ne veut pas dire que le projet est en sommeil !

DS1/DS2/DS3 sont tous en voie d'achèvement, en particulier DS3 qui se situe à 97%. Nous parlons de DS4 depuis des mois et le code est prêt pour des tests plus importants. Malheureusement, nous avons déployé un client de test il y a quelques semaines qui a lamentablement échoué, en raison d'une incompatibilité entre PyTorch et l'API BOINC native. il existe un moyen de contourner cela, mais cela nécessite plus de développement et un changement dans la façon dont les UT sont spécifiées, et nous y travaillons depuis. Nous devrions être prêts d'un jour à l'autre, mais cela a été plus compliqué que nous ne le pensions donc nous ne pouvons pas vous donner de délai. Mais nous savons que nous devons l'avoir disponible dès que les UT DS3 seront épuisées.

Certains des autres avantages du nouveau client sont qu'il est lié de manière statique, ce qui simplifie considérablement le déploiement. Le temps de développement supplémentaire nous a également permis d'apporter un changement pour nous rendre plus robustes aux NaN, ce qui devrait réduire le nombre d'erreurs de validation sur le système.

Un autre nouveau problème est que la partition de données manque d'espace sur le serveur. DS3 prend le contrôle de 4 To ! Merci à tous nos bénévoles ! Nous avons déplacé certaines choses pour faire un peu d'espace afin que tout fonctionne encore pour le moment. Nous avons reçu un nouveau stockage aujourd'hui et nous aurons besoin d'un temps d'arrêt pour l'installer. Cela ne devrait pas prendre plus de quelques minutes, nous allons donc le faire dans le courant de la semaine prochaine.

Alors, restez à l'écoute, le mois prochain sera intéressant pour MLC@Home.

Autres nouvelles
 - DS1/DS2 continue à un rythme lent. Il continuera en arrière-plan jusqu'à ce que nous ayons 10 000 échantillons de chaque.
 - Nous travaillons à maintenir le document à jour et à l'étoffer un peu plus.
 - Nous envisageons également un ensemble de travaux légèrement nouveau au-delà de la génération d'ensembles de données, donc j'espère que MLDS ne sera pas le seul projet à l'avenir.
 - Rappel : le client MLC est open source, et dispose d'une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un scientifique des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une demande d'extraction.

Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-06-08.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-06-08.png)

Notes TWIM de la semaine dernière: 1er mai 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=199)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 09 June 2021 à 10:02
:jap:
Titre: Re : MLC@Home
Posté par: franky82 le 02 July 2021 à 10:29
https://www.mlcathome.org/mlcathome/forum_thread.php?id=212
Citer
Ce mois-ci dans MLC@Home
Notes pour le 1er juillet 2021
Un résumé mensuel des nouvelles et des notes pour MLC@Home


Résumé

Joyeux premier anniversaire à MLC@Home ! Ce projet a été mis en ligne le 1er juillet 2020 et a fait son chemin assez rapidement dans la communauté BOINC. Nous sommes restés concentrés sur notre objectif, qui est d'ouvrir la boîte noire des réseaux de neurones pour expliquer pourquoi ils font les choix qu'ils font. C'est tellement important que l'apprentissage automatique imprègne de plus en plus notre vie quotidienne ; des voitures autonomes aux décisions bancaires et aux diagnostics médicaux. Nous avons besoin de recherches pour comprendre comment éviter les biais de ces systèmes.

Nous sommes également le premier, et à ce jour le seul, projet public BOINC axé sur l'apprentissage automatique. Cela signifie que bien que nous puissions tirer parti du cadre BOINC pour la gestion des tâches, nous devons créer la plupart de l'infrastructure client ML à partir de zéro. Cela n'a pas toujours été facile, mais nous avons accompli tant de choses au cours de la dernière année malgré tout.

Au cours de la dernière année, nous avons :
 - Contributions reçues de plus de 2500+ bénévoles et de 9200+ hôtes
 - Traitement de plus de 3,4 millions d' unités de travail BOINC
 - Formation de plus de 1,1 million de réseaux de neurones pour l'analyse de 3 ensembles de données différents, les plus grands ensembles de données de leur genre
 - Généré plus de 4,3 To de données pour l'analyse
 - Publication d'un article académique (d'autres à venir..)
 - Présenté au Workshop BOINC 2021
 - Publication de 47 versions client ciblant 3 architectures CPU différentes, 2 architectures GPU et plusieurs versions de Windows et Linux.
 - Dépassé le serveur initial au cours des premiers mois !

Je suis submergé par notre communauté et ce que nous avons accompli ensemble. Nous avons déjà montré que les réseaux entraînés avec les mêmes données se regroupent dans l'espace de poids, malgré le caractère aléatoire associé à l'entraînement des réseaux de neurones. Nous avons également montré que nous pouvons utiliser ce clustering pour détecter les réseaux formés avec des données empoisonnées par rapport à des données propres, une découverte importante sur le terrain.

Mais il y a encore tellement à faire ! Alors que nous voulons reconnaître et célébrer ce que nous avons accompli ensemble jusqu'à présent, regardons également vers l'avenir et fixons-nous quelques objectifs lâches pour la prochaine année de MLC@Home :

- MLDS continuera à court terme !
DS4 est (presque) prêt et étend l'ensemble de données pour inclure les types de réseau CNN ainsi que les RNN utilisés dans DS1-3. DS5 variera probablement légèrement la forme et la taille de chaque réseau pour voir si le clustering se produit toujours lorsque la forme varie. Le futur travail MLDS au-delà de DS5 est à déterminer, mais nous nous attendons à ce qu'il y ait beaucoup de WU DS4/DS5 pendant de nombreux mois à venir. Nous prévoyons de mettre à jour le document avec les dernières séries au cours du mois prochain.

- Nous aimerions nous développer au-delà du MLDS !
Nous sommes le premier projet à faire du ML à l'échelle de BOINC. Nous aimerions nous étendre pour soutenir d'autres domaines de recherche et nous engager à mettre en ligne au moins un autre projet de ML au cours de la prochaine année. Veuillez nous contacter si vous êtes un chercheur intéressé à travailler avec la plateforme !

- Nous devons améliorer l'aspect technique du projet
Du client prenant en charge les GPU AMD et OSX à l'optimisation de l'utilisation des cartes graphiques à un meilleur processus de validation pour les WU, il existe une longue liste de problèmes techniques que nous aimerions résoudre, et que nous n'avons pas fait si efficacement au cours des trois derniers mois. Nous arrivons également à des cas particuliers de la pile logicielle BOINC qui sont difficiles à contourner. Si vous êtes un développeur et que vous souhaitez aider, nous serions heureux de recevoir votre assistance.

- Nous aimerions améliorer la sensibilisation
Pour impliquer davantage de personnes, nous aimerions produire quelques courtes vidéos sur le projet, ce que nous avons trouvé et comment les autres peuvent aider. Ceux-ci doivent être courts, facilement accessibles et faciles à partager. Nous aimerions en produire au moins un dans les 6 prochains mois.

Ce sont des objectifs lâches mais qui devraient vous donner une idée de ce sur quoi nous concentrons nos efforts pour l'année prochaine. Si vous avez d'autres idées, veuillez les partager ci-dessous ou sur Discord.

Merci encore pour votre soutien à MLC@Home, et voici encore de nombreuses années de recherche fructueuse et importante dans un domaine important.


Autres nouvelles

 - DS3 est presque complet (juste quelques 130+ derniers ruissellements !). Je considère DS3 comme l'ensemble de données le plus important et j'ai hâte d'effectuer notre analyse sur l'ensemble !
 - À partir de maintenant, nous allons exploser les WU DS1 (puis DS2) dans les files d'attente GPU et CPU jusqu'à ce que cela se termine et/ou jusqu'à ce que DS4 soit prêt. Nous essaierons de les faire franchir le pas dès que possible.
 - Quelques nouvelles amusantes! Tankbuster, utilisateur de MLC Discord, a mis à jour le graphique de notre bannière ! Voir la bannière mise à jour sur les pages du projet et d'accueil !
 - Encore plus excitant, Tankbuster a créé un prototype d'application graphique pour MLC@Home ! Vous pouvez voir des maquettes et des vidéos et suivre la discussion sur le serveur MLC Discord (lien en bas).
(https://www.mlcathome.org/analysis/mlcgraphics.png)
 - Rappel : le client MLC est open source, et dispose d'une liste de problèmes sur gitlab . Si vous êtes un programmeur ou un scientifique des données et que vous souhaitez aider, n'hésitez pas à examiner les problèmes et à soumettre une demande d'extraction.


Aperçu de l'état du projet :
(notez que ces chiffres sont approximatifs)
(https://www.mlcathome.org/status/project-summary-2021-07-01.png)

(https://www.mlcathome.org/status/mlds-live-status-2021-07-01.png)

Notes TWIM de la semaine dernière: 8 juin 2021 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=203)

Merci encore à tous nos bénévoles !

- La page d'accueil des administrateurs MLC@Home : https://www.mlcathome.org/
Discord invite : https://discord.gg/BdE4PGpX2y
Twitter: @MLCHome2

Titre: Re : MLC@Home
Posté par: JeromeC le 02 July 2021 à 15:58
Très honnêtement celui-ci mérite amplement un article portail !

Merci Franky !
Titre: Re : Re : MLC@Home
Posté par: franky82 le 02 July 2021 à 16:40
Très honnêtement celui-ci mérite amplement un article portail !

Je veux bien mais il n'y a pas, sur le portail, de rubrique dans les actualités hors astronomie, biologie, écologie, mathématiques, physique-chimie.
Et celui-ci ne rentre dans aucune des catégories.
Il faudrait créer une rubrique "autres projets" ou "multi-catégories", peut-être !?

[pour WCG, qui est multi-projets, il y a des projets biologie et écologie, où je poste des traductions d'articles...]
Titre: Re : MLC@Home
Posté par: JeromeC le 02 July 2021 à 18:54
Ben c'est comme sur le fofo non ? ici on est dans multi-catégorie présentement tout de suite, donc je suggère de faire pareil :)
Titre: Re : MLC@Home
Posté par: franky82 le 02 July 2021 à 19:13
Ben non, ce n'est pas tout à fait pareil...
Je peux créer des articles mais je ne peux pas créer une rubrique/sous-menu !
Titre: Re : MLC@Home
Posté par: JeromeC le 03 July 2021 à 11:19
Ah j'avais pas compris que y'avait pas de catégorie multi-catégorie en effet ! bon soit tu peux / sais la créer, et/ou tu sais qui peut / sait le faire, soit à court-terme tu publies dans maths par exemple ? mieux que rien.
Titre: Re : MLC@Home
Posté par: JeromeC le 08 July 2021 à 22:48
Donc du coup tu veux pas publier ta super traduction ?
Titre: Re : MLC@Home
Posté par: franky82 le 09 July 2021 à 09:44
A vrai dire, je l'avais "un peu" oubliée...  :desole:
Je verrai ça demain (je suis absent aujourd'hui).
Titre: Re : MLC@Home
Posté par: franky82 le 09 July 2021 à 22:06
Finalement, j'ai pu le "copier" ce soir et le mettre (en page d'accueil) sur le portail :
https://www.boinc-af.org/mlc-home-mise-%C3%A0-jour-de-juillet.html
 :coffeetime:
Titre: Re : MLC@Home
Posté par: Maeda le 09 July 2021 à 22:12
 :jap:
Petite erreur de frappe ici :
Publication de 47 versions client ciblant 3 architectures CPU différentes, 2 architectures GPU et plusieurs versions de Windows et Liunx.
Titre: Re : Re : MLC@Home
Posté par: franky82 le 09 July 2021 à 22:16
:jap:
Petite erreur de frappe ici :
Publication de 47 versions client ciblant 3 architectures CPU différentes, 2 architectures GPU et plusieurs versions de Windows et Liunx.

Mais non, c'est un nouvel OS : Liunx !  :lol:
... corrigé  :coffeetime:
Titre: Re : MLC@Home
Posté par: JeromeC le 10 July 2021 à 11:26
Liunx, l'OS des lionx !

:jap:
Titre: Re : MLC@Home
Posté par: JeromeC le 07 September 2021 à 18:11
Citer
samedi 28 août 2021 07:13

En début de semaine, nous avons publié la dernière version 9.90 du client CPU après presque 3 semaines de tests.
Alors qu'il semblait initialement fonctionner correctement, un certain nombre d'erreurs ont commencé à s'accumuler au cours des dernières 24 heures.
Nous avons identifié un problème de configuration du serveur et nous pensons qu'il est maintenant résolu à partir de 6h UTC aujourd'hui. Le serveur générait des WUs invalides pour la file d'attente MLDS. Nous avons annulé tous les WUs problématiques et nous en ajoutons de nouvelles à la file d'attente principale. Les clients GPU et la file d'attente MLDSTEST
n'ont pas été affectés.

La v9.90 est une version importante pour MLDS, car elle contient le support pour les CNNs et les types de réseaux Dense feed forward nécessaires pour DS4.

Les points forts incluent :

- Binaire lié statiquement pour Linux (plus de AppImage)
- Support de DS4 ! (réseaux CNN et Dense)
- Meilleure gestion des NaN
- Mise à jour vers libTorch 1.9
- Wrapper au lieu de l'API native de BOINC


Nous nous excusons pour le déploiement cahotique, mais si vous avez eu des problèmes avec des erreurs de calculs plus tôt cette semaine, s'il vous plaît réessayer à votre meilleure convenance, et de poster tous les problèmes sur nos forums ou notre serveur Discord.
Titre: Re : MLC@Home
Posté par: Kao le 04 November 2021 à 11:27
Je passe par ici pour savoir si certains de nos crunchers fous avaient optimisés les WU de MLC ?
Si oui je suis preneur des infos.
Titre: Re : MLC@Home
Posté par: [AF] Kalianthys le 04 November 2021 à 11:46
Chez moi MLC ne marche pas sur mes GPU ;(

Je peux en faire uniquement sur les CPU mais c'est hyper long.

Kali.
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 04 November 2021 à 12:04
Je passe par ici pour savoir si certains de nos crunchers fous avaient optimisés les WU de MLC ?
Si oui je suis preneur des infos.
Non, pas d'optimisation, à ma connaissance, sauf à calculer plusieurs UT en même temps.
Une seule unité occupe environ 50% de ma GTX 1060, ce qui m'arrange car c'est la carte qui me sert également pour l'affichage qui reste fluide.
Titre: Re : Re : MLC@Home
Posté par: cougarpelardou le 04 November 2021 à 12:14
Chez moi MLC ne marche pas sur mes GPU ;(

Je peux en faire uniquement sur les CPU mais c'est hyper long.

Kali.
Idem sur ma 3060 Cela n'avance plus au bout de quelques% Quand j'ai supprimé la tache il annonçait 138 jours pour finir Alors j'ai euthanasié l'UT
Pas testé sur ma 1660
Titre: Re : MLC@Home
Posté par: Kao le 04 November 2021 à 12:20
Chez moi MLC ne marche pas sur mes GPU ;(

Je peux en faire uniquement sur les CPU mais c'est hyper long.

Kali.
Idem sur ma 3060 Cela n'avance plus au bout de quelques%
Pas testé sur ma 1660
Ça avance, juste lentement, et ça utilise plus souvent le CPU que le GPU même sur les tasks GPU :')
Titre: Re : MLC@Home
Posté par: DocPhilou1966 le 04 November 2021 à 21:27
Hello  :hello:
Petite question : je fais tourner MLC sur 2 portables.
1 x GTX 1060
1 x RTX 3080

Et la plus rapide des deux est la GTX 1060  :priz2tet:

Quelqu'un a une idée ?

Merci  :jap:
Titre: Re : MLC@Home
Posté par: cougarpelardou le 04 November 2021 à 22:47
J'ai le même problème sur ma 3060 Ti. J'ai supprimé car il affichait 138 jours pour finir.
Sur ma 1660 ti cela roule.
 :??:

Je n'ai pas mis de app-config maison.
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 05 November 2021 à 09:19
Moi, pour mes RTX 2080 Ti, j'avais mis ça en app_config et cela fonctionnait bien, mais je n'ai pas refait d'essai depuis.
Si ça déconne chez-vous, peut-être ont-ils changé un truc ?

<app_config>
<app>
<name>mlds-gpu</name>
<gpu_versions>
<gpu_usage>0.333</gpu_usage>
<cpu_usage>1</cpu_usage>
</gpu_versions>
</app>
</app_config>

Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 05 January 2022 à 12:36
Aujourd'hui, j'ai un taux très élevé d'erreurs sur ce projet MLC (je ne fais que du CPU en ce moment).
Je suis le seul ou alors chez vous aussi, ça déconne ?

 :??:
Titre: Re : MLC@Home
Posté par: Maurice Goulois le 05 January 2022 à 23:20
Mes stats :)

Tous (798) · En cours (0) · Validation en attente (0) · Validation non concluante (0) · Valide (702) · Invalide (26) · Erreur (70)
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 05 January 2022 à 23:26
 :kookoo:

Pour moi, 1 ut sur 10 est invalide ou en erreur, comme d'hab. Uniquement en GPU.
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 06 January 2022 à 18:47
OK, vu.
Merci à vous.
Machine plantée ce matin, donc un autre truc couvait !
Mais ça a l'air OK pour cette journée.
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 16 February 2022 à 18:40
Depuis quelques semaines, plus d'erreur, projet qui tourne impeccable sur CPU.
Les calculs en GPU me semblent non rentables !
Si quelqu'un est sur ce projet en CPU, peut-il m'annoncer son temps de calcul pour une UT ?
Pour moi, c'est hyper stable : je suis à 4040 secondes par UT, mais quand je vais relancer le projet QChemPedIA (20 UTs sur 128 possibles), je vais passer à nouveau à 5000 secondes par UT MLC.
Mais attention, je ne dois lancer que 20 UTs MLC en parallèle.
Si j'en lance 40 ou plus, le temps de calcul d'une UT passe à 11000 secondes, ce qui anéantit tout le gain qu'il devrait y avoir et surtout, ce qui mobilise beaucoup d'UTs qui peuvent cruncher pour un autre projet, surtout NumberFields qui n'a quasiment aucun "effet d'écran" sur les autres projets !
Je pense que tout cela s'explique avec des histoires de cash de différents niveaux et NumberFields étant très peu gourmand en mémoire, on devine la suite.

C'est compliqué de cruncher si on veut optimiser !
Titre: Re : MLC@Home
Posté par: JeromeC le 17 February 2022 à 00:51
Malalatêteu.
Titre: Re : MLC@Home
Posté par: fzs600 le 03 April 2022 à 06:50
Spring 2022 MLC Project Update: DS2 Complete edition!
https://www.mlcathome.org/mlcathome/forum_thread.php?id=267&postid=1492 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=267&postid=1492)
Citer
Cela fait un moment que nous n'avons pas posté de mise à jour, mais cela ne veut pas dire que le projet est resté inactif ! Si vous avez suivi notre serveur Discord, vous savez que nous avons continué à progresser, et grâce à nos bénévoles, aujourd'hui est un jour de fête !

Voici un résumé de l'état actuel du projet :

Résumé
Le calcul de DS2 est terminé ! Au 1er avril 2022, nous avons enfin franchi le seuil des 10 000 réseaux formés pour ParityModified, achevant ainsi notre calcul pour DS2. Cela a pris beaucoup de temps, et l'ensemble complet de données devrait aider les chercheurs à comprendre comment les réseaux neuronaux encodent les données.
Tous les tarballs DS1/DS2 peuvent être téléchargés à partir de https://www.mlcathome.org/mlds.html. C'est votre travail, et maintenant il est libre pour vous ou n'importe qui d'autre de l'étudier et de le développer !
Les archives de DS3 sont toujours en attente. Les calculs pour DS3 ont été achevés l'année dernière, mais nous n'avons pas encore téléchargé les ensembles de données complets sur le site Web. Nous nous sommes concentrés sur l'analyse, et la taille même de l'ensemble de données peut causer des maux de tête, rendant l'empaquetage une tâche fastidieuse. Nous les publierons ici dès qu'ils seront disponibles.
Les WUs de DS4 sont sortis ! Les WUs DS4 sont sorties pour notre client CPU, et les progrès ont commencé là. DS4 est beaucoup plus compliqué à gérer en arrière-plan parce qu'il a plusieurs ensembles de formation qui ont des exigences différentes, mais nous poussons de nouvelles WUs aussi vite que nous le pouvons.

Nous mettons en pause les WUs GPU : Cela nous attriste, mais nous n'avons pas réussi à mettre à jour nos clients GPU pour prendre en charge les WU DS4. Et comme nous nous concentrons sur l'analyse des résultats que nous avons, nous avons de moins en moins de temps pour nous concentrer sur le développement de clients autres que le client CPU. Lorsque la file d'attente GPU actuelle sera épuisée, nous n'enverrons plus de travail GPU jusqu'à ce que nous ayons le temps de redonner la priorité au portage d'un client GPU. La maintenance d'un client GPU a pris beaucoup plus de temps et d'efforts que prévu, et à moins que nous puissions obtenir une aide extérieure, cela restera une faible priorité pour le moment. Nous apprécions vraiment nos volontaires GPU, mais pour le moment nous n'avons pas de travail à envoyer, et nous vous encourageons à tourner votre matériel pour soutenir d'autres projets valables qui peuvent supporter votre matériel !
Nous explorons le portage du client CPU vers Rust. De plus, notre dépendance à PyTorch est devenue plus une entrave à la portabilité qu'un atout. Bien que l'écosystème des réseaux neuronaux dans Rust soit loin d'être aussi robuste, la capacité de Rust à compiler un binaire statique ciblant un grand nombre d'architectures et de systèmes d'exploitation est très attrayante pour la portabilité. En tant que tel, nous cherchons à porter notre client MLC CPU en pur rust, avec une option pour supporter les GPUs à partir de la même base de code dans le futur. Si vous connaissez Rust et êtes intéressé, veuillez contacter les administrateurs de MLC.

Veuillez noter qu'il y a encore des WUs DS2 dans la file d'attente de travail, nous vous demandons de continuer à les écraser, car il est toujours préférable d'avoir plus d'échantillons en réserve. Cependant, nous ne prévoyons pas de mettre en file d'attente d'autres UWs DS1/2/3, et toutes les nouvelles UWs ajoutées seront DS4 ou plus. Ceci s'applique également à la file d'attente des GPU.

Nous sommes très enthousiastes quant aux WUs DS4 à venir, et cela devrait nous aider à démontrer notre théorie selon laquelle des réseaux similaires se regroupent dans l'espace des paramètres à la fois dans les réseaux feed forward et CNN, ainsi que dans les RNN utilisés dans DS1/2/3. Au-delà de DS4, nous avons quelques idées mais rien de concret pour le moment. Nous vous tiendrons informés au fur et à mesure que nous avancerons.

Merci encore à tous nos bénévoles qui soutiennent le projet et aident la science.

Traduit avec www.DeepL.com/Translator (version gratuite)
Titre: Re : MLC@Home
Posté par: JeromeC le 03 April 2022 à 13:22
Publié.
Titre: Re : MLC@Home
Posté par: [AF] Kalianthys le 03 April 2022 à 18:19
Publié également sur la page Facebook

https://www.facebook.com/permalink.php?story_fbid=4990161004432236&id=334052630043120

Kali.
Titre: Re : MLC@Home
Posté par: [AF>Amis des Lapins] Jean-Luc le 09 April 2022 à 09:39
Ils ont pété les plombs sur MLC !
J'ai 20 UTs qui tournent en parallèle sur CPU.
La journée n'est même pas encore terminée et j'ai déjà 280000 points !
Ils surpaient à donf !!!
Titre: Re : MLC@Home
Posté par: [AF] Kalianthys le 09 April 2022 à 09:55
Vu qu'il n'y aura plus de tâches GPU, ils cherchent peut-être à attirer les cruncher sur CPU.

Titre: Re : MLC@Home
Posté par: JeromeC le 09 April 2022 à 12:32
C'est un des vrais problème de boinc cette attribution des crédits, qui a déjà fait couler beaucoup d'encre virtuelle (notamment sur ce fofo) et jamais trouvé de solution idéale...
Titre: Re : MLC@Home
Posté par: fzs600 le 18 April 2022 à 00:04
LC@Home inconsistent work generation for the next few months
https://www.mlcathome.org/mlcathome/forum_thread.php?id=269&postid=1502 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=269&postid=1502)
Citer
TL;DR : MLC entre dans une phase d'analyse, et le nouveau travail sera éclaté et incohérent pour au moins les prochains mois. Veuillez ajuster vos contributions BOINC en conséquence !

Au cours des derniers mois, nous (les administrateurs de MLC@Home) avons porté notre attention sur l'analyse des résultats fournis par nos volontaires. Avec l'achèvement de DS1/2/3, et les résultats partiels de DS4, nous sommes vraiment impatients de peaufiner certains documents et de publier certains résultats. (Dans le même ordre d'idées, attendez-vous à une annonce de la disponibilité des 5 niveaux de jeux de données de DS3 dans la journée ou demain, il ne reste plus qu'à configurer un torrent pour le jeu de données DS3-10000 de 1,3 To).

En outre, les résultats de DS4 sont plus importants que prévu et ne nécessitent pas autant de temps de calcul. Ainsi, lorsque nous publions les WU de DS4, nos volontaires les parcourent en quelques jours seulement, tout en remplissant l'espace disque du serveur. C'est un problème formidable, mais qui nous oblige à être judicieux dans l'envoi des travaux, afin de nous assurer que nous avons archivé suffisamment d'anciens résultats sur le serveur pour gérer l'afflux de nouveaux résultats.

Le résultat de tout cela est que nous n'avons pas les ressources nécessaires pour effectuer l'analyse et préparer/maintenir des unités de travail cohérentes et significatives. Ainsi, plutôt que de continuer à fournir un travail qui maintiendra le flux d'unités de travail mais qui aura moins de signification scientifique (comme la création de plus de réseaux DS3 juste pour créer un plus grand ensemble de données), nous préférons annoncer que le travail des unités de travail de MLC@Home sera incohérent au moins pour les prochains mois. Nous prévoyons de publier des lots de WUs DS4 toutes les quelques semaines, mais ce ne sera pas la disponibilité constante du travail à laquelle le projet vous a habitué ces deux dernières années. Nous sommes conscients que cela va nous faire perdre quelques volontaires, mais c'est pourquoi nous essayons d'être francs à ce sujet maintenant afin que chacun puisse décider si et comment allouer leurs contributions BOINC en conséquence. Nous espérons que vous envisagerez de laisser MLC dans votre liste de projets et que vous nous aiderez à croquer des WUs quand nous en aurons, mais nous comprendrons si vous choisissez de ne pas le faire.

Quelques points clés à noter :
    Est-ce que vous fermez ? . Non, pas pour le moment. Au-delà des objectifs énoncés ci-dessus pour DS4, nous avons quelques idées sur ce que nous aimerions faire dans le futur. Mais l'administrateur principal doit passer du temps à finir sa thèse, donc ces projets seront mis en attente jusqu'à ce qu'ils soient terminés. Si ces plans ne se concrétisent pas, nous serons clairs et nous arrêterons activement le projet. Nous promettons de ne pas l'abandonner sans préavis !
    Qu'en est-il de tout le travail effectué par les volontaires ? Les jeux de données DS1/DS2 sont tous disponibles au téléchargement sur https://www.mlcathome.org/mlds.html, et DS3 le sera bientôt (via torrent). Lorsque DS4 sera terminé, nous promettons de les rendre également disponibles au même endroit.
Nous espérons que cette annonce vous rassure et que nous essayons d'être de bons gestionnaires de la confiance et des ressources que vous nous accordez en tant que bénévoles de BOINC. Nous sommes vraiment excités par la science et humiliés par votre soutien depuis que nous avons commencé en juillet 2020, et nous espérons que vous comprenez alors que nous passons aux prochaines phases de notre travail. Au fur et à mesure que les choses changent, nous ferons plus d'annonces ici et sur notre Discord.
Traduit avec www.DeepL.com/Translator (version gratuite)
Titre: Re : MLC@Home
Posté par: JeromeC le 18 April 2022 à 13:55
Pas très clair cette histoire, je comprends pas ce qu'ils entendent pas "génération de travail incohérent".
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 18 April 2022 à 15:14
Pas très clair cette histoire, je comprends pas ce qu'ils entendent pas "génération de travail incohérent".
Je comprend :  "génération de travail intermittent"
Mais je peux me tromper.  :kookoo:
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 18 April 2022 à 15:22
 :kookoo:
Je comprends comme ça également, merci fzs. :jap:
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 18 April 2022 à 15:29
:kookoo:
Je comprends comme ça également, merci fzs. :jap:
Un grand bravo pour ta première place.  :jap: :jap:
 
Titre: Re : MLC@Home
Posté par: [AF>Libristes] Pascal le 18 April 2022 à 15:51
Merci :jap:
Titre: Re : MLC@Home
Posté par: fzs600 le 02 May 2022 à 07:15
DS3 Dataset of 1 million trained neural networks is available for download!
https://www.mlcathome.org/mlcathome/forum_thread.php?id=271&postid=1510 (https://www.mlcathome.org/mlcathome/forum_thread.php?id=271&postid=1510)
Citer
Bonjour les volontaires !

Juste un petit mot pour vous dire que le jeu de données 3 est enfin disponible au téléchargement sur notre site https://www.mlcathome.org/mlds.html ! Le jeu de données 3 a été achevé il y a quelques mois, mais en raison de sa taille considérable (2,25 To en tout) et du fait que nous privilégions notre propre analyse plutôt que de mettre les résultats à disposition pour le téléchargement, il nous a fallu attendre jusqu'à maintenant pour le rendre disponible.

Pour rappel, DS3 contient plus d'un million de réseaux neuronaux entraînés (10 000/ea modélisant 100 automates différents), dans le but d'analyser comment des réseaux de même taille et de même forme encodent des données d'entraînement similaires, mais pas exactes. Attendez-vous à un article mis à jour prochainement !

Nous avons toujours pensé que si le public travaille pour ce projet, les résultats de ce travail devraient être mis à la disposition du public pour faire avancer la science. À l'heure actuelle, toutes les données DS1, DS2 et DS3 sont accessibles au public sous une licence CC-BY-SA 4.0. Nous ferons de même avec DS4 lorsqu'elle sera terminée.

DS3 est diffusé via des torrents en raison de sa taille. Quelques volontaires ont déjà téléchargé et distribué ces (très gros) fichiers, donc nous espérons que les nouveaux téléchargements seront un peu plus rapides que si nous ne faisions que servir à partir de notre serveur unique. Les fichiers torrents sont listés sur notre site web et nous utilisons le tracker Academic Torrents (voir : https://academictorrents.com/browse.php?search=mlds.

Merci encore à tous nos bénévoles ! DS3 est un véritable accomplissement !

Traduit avec www.DeepL.com/Translator (version gratuite)
Titre: Re : MLC@Home
Posté par: fzs600 le 15 June 2022 à 18:47
 :hyperbon: :hyperbon:
Titre: Re : MLC@Home
Posté par: Antares le 17 June 2022 à 10:26
Transfert impossible erreur 522 !..
Titre: Re : Re : MLC@Home
Posté par: fzs600 le 17 June 2022 à 11:14
Transfert impossible erreur 522 !..
Oui depuis hier.  :/
Titre: Re : MLC@Home
Posté par: fzs600 le 18 June 2022 à 08:12
Le site est de nouveau accessible.  :kookoo: