Sujet: BOINC@TACC

[fzs600]

                                                                                                                     




Infos utiles.
Ce projet nécessite l’installation de Virtualbox : https://www.virtualbox.org/
Si vous souhaitez que votre pseudo apparaisse : on trouve un bouton pour afficher son pseudo (et un pour redevenir anonyme) dans les préférences de son compte.
Merci a franky82 pour l'info.
 

statut : projet terminé
URL du projet : https://boinc.tacc.utexas.edu/
Application disponible : https://boinc.tacc.utexas.edu/apps.php
État du serveur : https://boinc.tacc.utexas.edu/server_status.php
L'alliance francophone : https://boinc.tacc.utexas.edu/team_display.php?teamid=15
Classement mondial de L'af : pas de donnée


Résumé.
Le personnel du TACC, ou les chercheurs du TACC, ne sont pas les consommateurs directs des cycles de calcul volontaires. BOINC@TACC est principalement destiné aux chercheurs du milieu universitaire, qui se sont également vu allouer du temps de calcul sur les systèmes TACC, mais qui n'ont pas encore suffisamment de temps d'allocation.Les systèmes TACC sont des ressources partagées. Il pourrait y avoir des milliers de chercheurs qui travaillent simultanément sur ces systèmes. Pour assurer l'utilisation équitable des systèmes, des politiques de files d'attente sont en place. Si les chercheurs ont une faible priorité assignée pour leur travail sur ces systèmes et que leur travail ne fonctionnerait pas pendant, disons, 2-3 jours, alors ils peuvent choisir d'exécuter leur travail sur BOINC@TACC.Best Regards,BOINC@TACC Team


Mis a jour par fzs600 le  18 septembre 2022.

[naz]

Un BOINC dans BOINC 

https://www.tacc.utexas.edu/

[JeromeC]

Le projet BOINC@TACC intègre le calcul distribué avec le supercalculateur. Il permet d'acheminer les travaux de calcul à haut débit des systèmes du TACC vers les ressources informatiques mises à disposition par des particuliers ou des institutions. Les ressources informatiques volontaires comprennent des ordinateurs portables, des ordinateurs de bureau, des tablettes ou des machines virtuelles dans le nuage. Pour faire don de leur temps de calcul, ils peuvent télécharger le logiciel nécessaire sur leurs appareils à partir du site Web de BOINC@TACC, et peuvent ensuite s'inscrire comme bénévoles. Pour en savoir plus sur les logiciels requis pour les appareils de bénévolat et pour vous inscrire comme bénévole pour le projet BOINC@TACC, veuillez cliquer ici.

Les chercheurs peuvent utiliser l'infrastructure BOINC@TACC pour compléter les cycles de calcul mis à leur disposition grâce à leurs allocations TACC/XSEDE. Avec BOINC@TACC, ils peuvent exécuter de petites tâches impliquant de petites quantités de transfert et de traitement de données sans dépenser leurs allocations actives. Pour plus de détails sur l'utilisation de l'infrastructure BOINC@TACC, veuillez cliquer ici.

L'infrastructure logicielle BOINC@TACC s'appuie sur boinc et étend ses capacités pour 1) prendre en charge les soumissions de travaux des superordinateurs, 2) utiliser les machines virtuelles dans le nuage et 3) créer automatiquement des images Docker du code source écrites dans des langues sélectionnées. Le logiciel BOINC@TACC est disponible dans un dépôt Github.

Plutôt technique cette affaire, moi pas tout avoir compris !!

[GuL]

Si j'ai bien compris : boinc est pour les "petits" calculs, tandis que Tacc est un superordinateur pour les "gros" calculs. Les chercheurs peuvent utiliser soit l'un soit l'autre. 

[JeromeC]

En gros c'est pour étendre la capacité de calcul du supercalculateur en le connectant à boinc, les tâches récupérées par boinc seront des bouts de tâches qui pourraient aussi passer sur le supercalculateur.

[naz]

'' passer'' tu parles de doublons ?

[JeromeC]

"qui auraient aussi pu être calculées sur le supercalculateur"

[naz]

OK ! Je suis d'accord avec toi d'après ce que j'ai lu et compris. Perso je trouve ça intéressant... Je ne vais pas consacrer tout mes cpu dessus mais je vais en faire.

[fzs600]

Pour le moment les pseudos sont anonymisés ne me demander pas pourquoi je n'en sais rien. 
https://boinc.tacc.utexas.edu/top_users.php

Le mien est celui-ci : fzs600 (ZkbrNbWFDC) 

[Antares]

Ce projet nécessite l’installation de Virtualbox, donc pas pour moi...

[Zarck]

Vm et serveur à zéro.

 

[JeromeC]

Oh, j'ai eu tout un tas de tâches hier soir !

En fait pour une raison que j'ignore j'ai oublié de le décocher sur le Mac pour ne garder que WCG, et paf il a fait le plein (car à l'époque j'avais mis une grosse priorité pour essayer d'en avoir)

Et donc si je comprends bien ce projet est comptabilisé nulle part ? (StatSeb, SetiBZH, BoincStats...)

Elles se calculent en quelques minutes mais ça leur laisse le temps de bouffer un max de RAM sur le Mac, genre 6 ou 8 Go pour ce que j'ai vu ! Tâches multi-thread.

[franky82]

Le site a évolué : on trouve un bouton pour afficher son pseudo (et un pour redevenir anonyme) ! 
J'avais demandé, par email, à ne plus avoir d'anonymisation et je suis le seul dans l'AF (pour l'instant) à avoir mon pseudo affiché !

[JeromeC]

Thanks for the tip. J'ai clicked, wait & see.

[fzs600]

New supercomputer to TACC
https://boinc.tacc.utexas.edu/forum_thread.php?id=36&postid=159#159

[JeromeC]

Ton lien il dit rien, c'est un cruncher qui demande juste "alors vous avez toujours besoin de nous ?"

Dans les news y'a un article de fin juin :
(traduction copiée direct de deepl pas le temps de relire tout ça)

ous n'avez pas besoin d'être un scientifique pour contribuer à des projets de recherche dans des domaines comme la biomédecine, la physique, l'astronomie, l'intelligence artificielle ou les sciences de la terre.

Des centaines de milliers d'ordinateurs à domicile et au travail sont utilisés pour le calcul bénévole à l'aide d'appareils grand public et de ressources organisationnelles à l'aide de logiciels libres spécialisés du projet Berkeley Open Infrastructure for Network Computing (BOINC). Au cours des 17 dernières années, grâce à un financement provenant principalement de la National Science Foundation (NSF), BOINC est maintenant utilisé par 38 projets et plus d'un demi-million d'ordinateurs exécutant ces projets dans le monde.

David Anderson, fondateur de BOINC, est chercheur scientifique au Berkeley Space Sciences Laboratory de l'Université de Californie. Son objectif en créant BOINC était de créer un logiciel pour gérer les détails de l'informatique distribuée afin que les scientifiques n'aient pas à le faire.

"Je voulais créer une nouvelle façon de faire du calcul scientifique comme alternative aux grilles, aux grappes et aux nuages ", a déclaré Anderson. "En tant que système logiciel, BOINC a connu un grand succès. Il a évolué sans trop de problèmes de croissance pour gérer les processeurs multi-cœurs, toutes sortes de GPU, les machines virtuelles et les conteneurs, et les périphériques mobiles Android."

Le Texas Advanced Computing Center (TACC) a lancé son propre projet en 2017 - BOINC@TACC - qui prend en charge les applications virtualisées, parallèles, en nuage et basées sur le GPU pour permettre au public de résoudre des problèmes scientifiques. BOINC@TACC est la première utilisation de l'informatique bénévole par un grand centre de calcul haute performance (HPC).

"BOINC@TACC est un excellent projet pour faire du grand public un contributeur clé dans les projets scientifiques et technologiques ", a déclaré Ritu Arora, chercheur scientifique au TACC et chef de projet.

"Nous aimons nous engager avec des gens de la communauté qui peuvent devenir des passionnés des sciences, établir des liens avec le TACC et faire connaître les projets scientifiques ", a dit M. Arora. "Et, ce qui est important pour les étudiants et les chercheurs, il y a toujours une demande non satisfaite pour les cycles de calcul. S'il y a un moyen de relier ces deux communautés, c'est que nous répondons à un besoin majeur."

Dick Duggan, bénévole de BOINC, est un professionnel des TI à la retraite qui vit au Massachusetts, et un passionné d'informatique bénévole depuis plus d'une décennie.

"Je suis un intello en physique. Ce sont généralement mes projets préférés ", dit-il. "Je contribue aux cycles de calcul de nombreux projets, dont le Grand collisionneur de hadrons (LHC). Le LHC fait de la physique de pointe - ils font de la physique à la limite de ce que nous savons sur l'univers et ils repoussent cette limite."

Duggan utilise son ordinateur portable, son ordinateur de bureau, sa tablette et Raspberry Pi pour fournir des cycles informatiques à BOINC@TACC. "Quand mon téléphone est branché et chargé, il fonctionne aussi avec BOINC@TACC."

L'adhésion à BOINC@TACC est simple : Inscrivez-vous comme bénévole, installez votre appareil et choisissez vos projets.

Le projet BOINC@TACC a permis de calculer des cycles sur plus de 1 300 appareils informatiques et plus de 300 appareils ont traité les travaux soumis en utilisant l'infrastructure BOINC@TACC. La puissance informatique totale disponible par l'intermédiaire des processeurs des dispositifs volontaires est d'environ 3,5 téraflops (ou 3,5 billions d'opérations en virgule flottante par seconde).

Pourquoi BOINC@TACC ?

Ce n'est un secret pour personne que les ressources informatiques sont très en demande et que les chercheurs qui ont les exigences les plus élevées en matière de calcul ont besoin de systèmes de superinformatique. L'accès aux superordinateurs les plus puissants du monde, comme les ressources du TACC, est important pour l'avancement de la science dans toutes les disciplines. Toutefois, compte tenu des limites de financement, il y a toujours un besoin non satisfait pour ces ressources.

"BOINC@TACC aide à combler une lacune dans les besoins des chercheurs et des étudiants et dans ce que les centres de supercalcul des sciences ouvertes peuvent actuellement leur offrir ", a déclaré Arora.

Les chercheurs de l'UT Austin, de n'importe laquelle des 14 institutions du système UT et les chercheurs de tout le pays par le biais de XSEDE, l'infrastructure informatique nationale de pointe des États-Unis, sont invités à soumettre des emplois en sciences à BOINC@TACC.

Pour aider les chercheurs à répondre à ce besoin non satisfait, le TACC a entamé une collaboration avec Anderson à UC Berkeley pour voir comment le centre pourrait sous-traiter des tâches informatiques à haut débit à BOINC.

Lorsqu'un chercheur est prêt à soumettre des projets par l'intermédiaire de BOINC@TACC, tout ce qu'il a à faire est de se connecter à un système TACC et d'exécuter un programme à partir de son compte qui l'inscrira à BOINC@TACC, selon Arora. Par la suite, le chercheur peut continuer à exécuter des programmes qui l'aideront (1) à décider si BOINC@TACC est la bonne infrastructure pour exécuter ses travaux ; et (2) à soumettre les travaux informatiques à haut débit qualifiés via l'interface en ligne de commande. Les chercheurs peuvent également soumettre des offres d'emploi via l'interface web.

Au lieu d'exécuter le travail sur le Stampede2, par exemple, il pourrait être exécuté sur l'ordinateur du domicile ou du travail d'un bénévole.

"Notre logiciel correspond au type de ressources pour un emploi et à ce qui est disponible dans la communauté ", a déclaré M. Arora. "Les applications étroitement couplées, gourmandes en calculs, en E/S et en mémoire ne sont pas appropriées pour fonctionner sur l'infrastructure BOINC@TACC. Par conséquent, ces offres d'emploi sont filtrées et soumises à l'exécution sur Stampede2 ou Lonestar5 au lieu de BOINC@TACC ", a-t-elle précisé.

Un nombre important de tâches informatiques à haut débit sont également exécutées sur des systèmes TACC en plus des tâches MPI étroitement couplées. Ces tâches de calcul à haut débit se composent d'un grand nombre de tâches à couplage lâche, dont chacune peut être exécutée indépendamment et en parallèle avec d'autres tâches. Certains de ces emplois informatiques à haut débit ont des besoins modestes en mémoire et en entrées/sorties, et ne s'attendent pas à un délai d'exécution fixe. De tels emplois peuvent être exécutés sur l'infrastructure BOINC@TACC.

"L'informatique bénévole est bien adaptée à ce type de charge de travail ", a déclaré M. Anderson. "L'idée de BOINC@TACC est de décharger ces tâches sur un serveur BOINC, libérant ainsi les supercalculateurs pour les tâches parallèles étroitement couplées qui en ont besoin."

Pour commencer, l'équipe du TACC a déployé une instance du serveur BOINC sur une plate-forme de cloud computing. Ensuite, l'équipe a développé le logiciel d'intégration de BOINC avec des plates-formes de supercalculateurs et de cloud computing. Au cours du processus, l'équipe du projet a développé et lancé des composants logiciels novateurs qui peuvent être utilisés par la communauté pour soutenir des projets dans divers domaines. Par exemple, un système de fichiers partagés en nuage et un cadre de création d'images Docker développés dans le cadre de ce projet peuvent être utiles pour une variété de projets de passerelles scientifiques.

Dès que le projet est devenu opérationnel, les volontaires se sont inscrits avec enthousiasme. Le nombre de chercheurs utilisant BOINC@TACC augmente progressivement.

Carlos Redondo, ingénieur aérospatial senior à l'UT Austin, est à la fois développeur du projet BOINC@TACC et chercheur qui utilise l'infrastructure.

"L'incitation pour les chercheurs à utiliser l'informatique bénévole, c'est qu'ils économisent sur leur allocation de projet ", a déclaré M. Redondo. "Mais les chercheurs doivent garder à l'esprit que le nombre de cœurs sur les systèmes bénévoles sera petit et qu'ils n'ont pas l'optimisation spéciale que les serveurs du TACC ont ", a dit M. Redondo.

En tant qu'étudiant chercheur, Redondo a soumis de nombreux travaux de calcul en dynamique des fluides via BOINC@TACC. Dans ce domaine, les ordinateurs sont utilisés pour simuler l'écoulement des fluides et l'interaction du fluide (liquides et gaz) avec les surfaces. Les superordinateurs peuvent trouver de meilleures solutions et sont souvent nécessaires pour résoudre les problèmes les plus importants et les plus complexes.

"Les résultats en termes de chiffres produits par les dispositifs de bénévolat étaient exactement ceux escomptés, et également identiques à ceux obtenus avec le Stampede2 ", dit-il.

Étant donné que les emplois s'exécutent chaque fois que les ordinateurs des bénévoles sont disponibles, le délai d'exécution des chercheurs est plus long que celui du Stampede2, selon M. Redondo. "Il est important de noter que si un volontaire décide d'arrêter un travail, BOINC@TACC sauvegardera automatiquement les progrès, protégera les données et sauvegardera les résultats."

Contribution technique du TACC au BOINC

Le logiciel BOINC est prêt à l'emploi. Ce qu'il ne prend pas en charge, c'est le logiciel permettant d'accepter directement les travaux des supercalculateurs.

"Nous intégrons le logiciel BOINC avec le logiciel qui fonctionne sur des supercalculateurs pour que ces deux éléments puissent communiquer entre eux lorsque nous devons acheminer des travaux informatiques à haut débit qualifiés des supercalculateurs vers des appareils bénévoles. L'autre contribution du TACC est l'extension de BOINC aux plates-formes de cloud computing ", a déclaré M. Arora.

Contrairement aux autres projets BOINC, l'infrastructure BOINC@TACC peut exécuter des travaux sur des machines virtuelles (VM) exécutées sur des systèmes cloud computing. Ces systèmes sont particulièrement utiles pour les travaux GPU et pour assurer une certaine qualité de service aux chercheurs. "Si le bassin de ressources bénévoles diminue, nous sommes en mesure d'acheminer les emplois vers les systèmes informatiques en nuage et de répondre aux attentes des chercheurs. Il s'agit là d'une autre contribution unique du projet ", a déclaré Arora.

BOINC@TACC est également pionnier dans l'utilisation de Docker pour l'emballage d'applications scientifiques personnalisées afin qu'elles puissent fonctionner avec des ressources bénévoles.

De plus, l'équipe du projet prévoit de collaborer avec des entreprises qui pourraient avoir des programmes de responsabilité sociale d'entreprise pour solliciter des cycles de calcul sur leurs ordinateurs de bureau ou leurs systèmes informatiques en nuage.

"Nous avons la capacité d'exploiter les ordinateurs de bureau et les ordinateurs portables, ainsi que les machines virtuelles dans le nuage. Nous avons démontré que nous sommes capables d'acheminer les travaux du Stampede2 vers les systèmes informatiques en nuage du TACC, Chameleon et Jetstream, grâce à l'infrastructure BOINC@TACC ", a déclaré Arora.

Nous espérons que BOINC@TACC sera une réussite qui motivera d'autres grands centres de calcul scientifiques à utiliser la même approche ", conclut Anderson. Cela profitera à des milliers d'informaticiens et, nous l'espérons, augmentera considérablement le nombre de bénévoles."

Dick Duggan a exprimé le sentiment commun des bénévoles du BOINC que les gens veulent le faire pour l'amour de la science. "C'est le moins que je puisse faire. Je ne suis peut-être pas un scientifique, mais j'accomplis quelque chose... et c'est amusant à faire ", a dit M. Duggan.

Pour en savoir plus : L'infrastructure logicielle que le TACC a mise au point pour acheminer les travaux des systèmes du TACC vers les dispositifs bénévoles et les systèmes informatiques en nuage est décrite dans le présent document.

BOINC@TACC est financé par le prix NSF #1664022. Les collaborateurs du projet sont reconnaissants au TACC, à XSEDE et au Science Gateway Community Institute (SGCI) pour avoir fourni les ressources nécessaires à la mise en œuvre de ce projet.

[fzs600]

La réponse de l'admin a la question poser.

Merci d'avoir partagé les nouvelles ! Le personnel du TACC, ou les chercheurs du TACC, ne sont pas les consommateurs directs des cycles de calcul volontaires. BOINC@TACC est principalement destiné aux chercheurs du milieu universitaire, qui se sont également vu allouer du temps de calcul sur les systèmes TACC, mais qui n'ont pas encore suffisamment de temps d'allocation.Les systèmes TACC sont des ressources partagées. Il pourrait y avoir des milliers de chercheurs qui travaillent simultanément sur ces systèmes. Pour assurer l'utilisation équitable des systèmes, des politiques de files d'attente sont en place. Si les chercheurs ont une faible priorité assignée pour leur travail sur ces systèmes et que leur travail ne fonctionnerait pas pendant, disons, 2-3 jours, alors ils peuvent choisir d'exécuter leur travail sur BOINC@TACC.Best Regards,BOINC@TACC Team

Traduit avec www.DeepL.com/Translator

[JeromeC]

Ah donc y'aura du taff une fois tous les 36 du mois... faut qu'ils comprennent que c'est pas ça qui va attirer les crunchers... sauf que bon avec les chasseurs de badges et d'étoiles qui laisseront des demandes forcées tout le temps, leurs tâches seront vites pompées dès qu'elles apparaîtront

[fzs600]

Ah donc y'aura du taff une fois tous les 36 du mois... faut qu'ils comprennent que c'est pas ça qui va attirer les crunchers... sauf que bon avec les chasseurs de badges et d'étoiles qui laisseront des demandes forcées tout le temps, leurs tâches seront vites pompées dès qu'elles apparaîtront

Voila tout est dit. 

[JeromeC]

https://boinc.tacc.utexas.edu/forum_thread.php?id=3&postid=187

Y'allait avoir des tâches ! Y'allait avoir des tâches !!

Ah ben non, y'en a pas.

[[AF] fansyl]

BOINC indique sur Twitter que ce projet travaille sur Covid-19, j'ai rattaché au cas où mais le serveur est à sec pour le moment.

 

[JeromeC]

Ils y travaillent peut-être effectivement mais visiblement ils n'ont pas besoin des crunchers boinc... c'est un projet de "débordement" vers boinc quand les supercalculateurs qu'ils ont déjà ne suffisent plus... mais finalement c'est presque jamais le cas.

Y'a deux mois ils ont dit "on va en avoir plein on va en avoir plein"... et y'en a jamais eu.

Je suis retourné voir le topic mentionné plus haut et "oh il va y en avoir de nouveau" (le 27 mars), résultats : 54 tâches en cours, 17 utilisateurs pour 18 machines avec des crédits récents, juste un gag.


Edith : en effet ils en parlent ici. Je me suis permis un peu d'humour léger

[[AF] fansyl]

J'ai chopé des tâches cette nuit et ce matin : très courtes, je n'ai pas pu voir la consommation de RAM.

Les calculs ont été faits sur Ryzen 1700, W10, VirtualBox 5.2.8 et i7-3770T, W7, VirtualBox 6.0.10

Les temps de calcul sont bien pris en compte par WUProp.

 

[JeromeC]

Wow depuis ce matin c'est passé à 2 tâches en cours, 23 utilisateurs pour 24 machines avec des crédits récents...

\o/

[[AF] fansyl]

J'en ai crunché 72 !