[EINSTEIN] Discussions sur Einstein@Home

[JeromeC]

"BRP4A supporte les GPU des derniers appareils Apple sous macOS" quel dommage que ça soit que les nouveaux apple bidules.......

[fzs600]

Einstein@Home is twenty years old today!
https://einsteinathome.org/fr/content/einsteinhome-twenty-years-old-today

Je tiens à féliciter tous les bénévoles, développeurs et scientifiques d'Einstein@Home : notre projet a 20 ans aujourd'hui.  Nous avons officiellement lancé Einstein@Home le 19 février 2005, il y a exactement 20 ans, lors de la réunion annuelle de l'American Association for the Advancement of Science (AAAS) à Washington DC.

Depuis lors, près d'un demi-million de personnes ont contribué à la puissance de calcul d'Einstein@Home. Einstein@Home effectue les recherches les plus sensibles d'ondes gravitationnelles continues et continue à fixer les limites les plus strictes et les plus rigoureuses pour cette population qui n'a pas encore été découverte.  Nous avons découvert plus de 90 nouveaux pulsars radio et gamma, dont un certain nombre d'exemples extrêmes et exotiques.  Le projet a donné lieu à 38 publications dans des revues scientifiques évaluées par des pairs et a également joué un rôle dans une douzaine de thèses de doctorat.

Un grand merci à toutes les personnes impliquées !

Traduit avec DeepL.com (version gratuite)

[JeromeC]

Chouette info

J'ai lu le sujet, il y a 2 autres trucs intéressants

https://www.aei.mpg.de/1226437/happy-20th-birthday-einstein-home
https://einsteinathome.org/fr/content/eh-20-years-old-now

Je n'ai pas (encore) lu l'article (qui d'après le poster contient plus d'infos) et j'ai juste un peu lu l'autre topic ou tous les anciens viennent raconter des trucs marrants, notamment une gueguerre entre modérateurs chez seti@home en 2004 ou 2005 qui a produit une scission de ceux qui sont partis chez Einstein.

[erik]

Sur Einstein il apparait que dans les statistiques FreeDC, en France il y a un GridCoin qui s'appelle "4TuxdDRE5rkPMQgHjUsLWqnYPkCc"    en 1ère place.
https://stats.free-dc.org/usercountry/eah/France
Mon objectif est clairement de le dézinguer mais jean-Luc est beaucoup mieux placé que moi pour ça. 

[[AF>Amis des Lapins] Jean-Luc]

Je n'ai pas vraiment prévu de me lancer dans Einstein en ce moment, je suis sur PrimeGrid.
Et ensuite sur SRBase dans quelques mois et sur GPUGrid.
Donc, 2025 est ficelée pour moi pour mes GPUs.

Mais tu peux essayer.
Tout dépend de ta (tes ?) GPU et de la sienne !

;-)

[erik]

Mais tu peux essayer.
Tout dépend de ta (tes ?) GPU et de la sienne !

Nos performances sont assez similaires. Le problème c'est que c'est moi qui suis 2ème 
En plus, je me sert de ma crunchbox comme chauffage l'hiver et dès que les températures remontent je la coupe. 

[erik]

J'ai retrouvé le manant mais bien sur ses ordis sont masqués.
https://einsteinathome.org/fr/account/154064/computers
En tout cas, vu sa moyenne je pense que pour moi c'est mort.

[JeromeC]

Ah ben ce cher 4TuxdDRE5rkPMQgHjUsLWqnYPkCc est dans gridcoin, ceci explique cela

[erik]

J'ai plein de "validation inconclusive" sur mes taches GPU. Après calcul par un 3ème larron, c'est bien la mienne qui est en erreur. C'est la première fois que ça m'arrive sur ce projet.
Est-ce que quelqu'un a le même genre d'experience?

[erik]

J'ai trouvé.
4 taches O3 en // c'est vraiment trop pour une 1080Ti. Sans doute un problème de VRAM.
Ce qui m'étonne c'est que ça fonctionnait depuis longtemps comme ça et puis subitement ça part en "validation inconclusive" sans que j'aie touché quoi que ce soit à mes réglages. Pas de Maj, pas de reboot, rien.
Je suis revenu à 1 tache par GPU et tout est rentré dans l'ordre. Je l'aurais fait de toute façon en prévision du RAID, en effet il y a une pondération CPU/GPU qui enlève l'intérêt qu'il y a à bloquer trop de CPUs pour un gain de temps GPU qui somme toute est relativement faible. Il vaut mieux faire du calcul CPU avec les CPUs.

[Maeda]

Peut-être tout simplement une mise à jour de l'application, qui maintenant utiliserait plus de RAM GPU par UT .

[JeromeC]

Quelques infos intéressants sur O3 sur mon mac : si vous lisez (plein de pages) plus haut dans le topic j'avais beaucoup souffert, mais bon quand je vois les mecs (meufs) qui arrivent au bout de Vendée Globe (2 encore en cours mais le belge Denis va a priori arriver "après la fermeture de la course" et ne pourra pas être classé, c'est moche) je me dis que je suis pas très résistant, et je lui donne de nouveau une chance.

Et j'ai bien fait, déjà je constate que le "plan class" a changé car pour réussir à configurer mon app_config j'ai dû changer le GW-opencl-ati-2 en GW-opencl-ati-3, mais surtout à ma grande surprise il se met à utiliser une quantité énorme de ressource GPU : environ 11-12%. C'est fantastique, avant c'était 0. Et pour faire ça il a besoin d'environ 1/2 thread de CPU en permanence. Donc je l'ai laissé faire un certain nombre de tâches comme ça depuis hier et ça a l'air stable. Elles mettent environ 4h40 sur mon vénérable GPU.

Donc ce matin je me dis "soyons fous" et je remets en marche mon app_congif (d'où la trouvaille plus haut) pour qu'il en fasse 3 en même temps temps : mauvaise idée, l'utilisation GPU de chaque tombe à moins de 5% et celle du CPU à 30% ou moins d'un thread.

Donc là j'ai mis les deux paramètres CPU et GPU à 0.5 dans le app_config, je vais 2 tâches en mêmes temps, l'usage GPU est remonté à environ 7-8% chaque et CPU à un peu moins de 1/2 thread chaque, donc globalement j'utilise un peu plus de GPU. C'est pas fou fou mais c'est beaucoup mieux que 0.

Et il y a une bonne raison derrière tout ça : ils viennent de publier une nouvelle version de l'appli.

Mac OS 10.5 or later running on Intel 64 Bit    
1.16 (GW-opencl-ati-3)    
20 Jan 2025, 14:39:38 UTC

Donc après c'est un peu ridicule, mais c'est lié à ma config aussi certainement, peut-être que sur d'autres machines le gain est réel.

[erik]

Il y a tout un topic sur le forum Einstein à propos des taches O3 invalides. J'avoue que ma tête fatiguée ne l'a pas vraiment lu. Si quelqu'un a le courage...
https://einsteinathome.org/fr/content/all-sky-gravitational-wave-search-o3-data-o3ashf1

[JeromeC]

Moi j'ai tout un topic sur ma problématique particulière, que j'avais débuté il y a 3 ans.

https://einsteinathome.org/fr/content/o3-almost-not-using-any-gpu-power-mac

[JeromeC]

Sur ce topic où j'ai rapporté ce que je dis plus haut on m'a répondu que

Il ne s'agit pas d'une nouvelle version. Il s'agit de la même ancienne version, juste rééditée avec de nouveaux fichiers de configuration.

La différence de comportement est due au fait que l'application réagit différemment aux nouvelles données d'entrée et aux arguments de ligne de commande associés.

L'application elle-même est inchangée depuis 1,5 an.

alors j'ai répondu

Merci pour la clarification mais c'est assez étrange car si vous lisez ce fil de discussion ci-dessus mon dernier test était en juillet 2024 (donc même version de l'application) et j'utilisais une classe de plan GW-opencl-ati-2 et maintenant elle n'est plus reconnue donc j'ai compris que je devais changer pour GW-opencl-ati-3 pour qu'elle soit reconnue, et j'avais toujours le problème de « 0 GPU utilisé » et maintenant cela fonctionne mieux, donc tout cela est seulement dû aux changements du fichier de configuration que vous mentionnez ?

et il me dit

Il ne s'agit pas des fichiers de configuration eux-mêmes, puisqu'ils ne sont pas utilisés pour l'instant.

Ce sont les données d'entrée qui sont différentes. Nous traitons d'autres types de tâches qu'en juillet.

Bon, surprenant, et tant mieux.

[Alan St-Pierre]

Est-ce que je suis le seul à avoir des tâches Gamma-ray pulsar search #5 1.08 (FGRPSSE) qui se bloquent à 89,953% sur plusieurs machines? Ou du moins, la progression bloque mais elles finissent bien et sont renvoyés selon la liste des tâches, mais on dirait qu'il y a un moment où rien ne se passe vu que le nombre de tâches ne descends pas rapidement.

[Maeda]

Il semble que cela ait déjà été observé.

Traduction de la partie concernée :

Cette recherche est un processus en deux étapes et les tâches récentes semblent prendre beaucoup plus de temps qu'auparavant - pour tout le monde.  C'est simplement que le type de données analysées a récemment changé et que les délais sont désormais beaucoup plus longs.


L'analyse est achevée à la fin de la première étape (à ~90%).  Il y a une étape de suivi (où les progrès ne sont pas visibles) au cours de laquelle tous les signaux candidats potentiels trouvés au cours de la première étape sont analysés plus en détail et triés dans une liste des « dix meilleurs » appelée « toplist ».  Il en a toujours été ainsi, mais cela dure plus longtemps aujourd'hui avec les données les plus récentes.


Cette étape de suivi peut prendre un temps très variable et vous devriez cesser d'interférer et la laisser faire :-).

[Alan St-Pierre]

Merci, c'est exactement ça. Je vais laisser tourner.

[Alan St-Pierre]

Salut,

Est-ce que vous auriez une idée de quelle application GPU Einstein est la plus créditeuse entre O3 et BRP7 Meerkat? Je n'ai que des cartes Nvidia, et surtout sur Windows mais j'expérimente depuis peu sur Linux. Cela a une importance, car O3 n'as pas d'appli CUDA sur Windows (seulement une OpenCL), alors que oui sur Linux. BRP7 Meerkat a une application CUDA sur les deux plateformes.

Également, est-ce qu'il existes un truc pour connaître le nombre de tâches optimal à exécuter en // sur un GPU donné. Je sais que normalement on doit s'approcher le plus possible des 100% d'utilisation avec le moins de tâches possible. Le problème, c'est que je voudrais savoir ce qui en est sur une RTX 4090 que je teste sur The Science Cloud le temps du dernier obstacle du Pentathlon, mais ils ne donnent pas un accès direct à la machine pour faire les tests. Alors, pour une RTX 4090, est-ce quelqu'un connaît le nombre optimal de tâches en // ou sinon comment le calculer?

[Maeda]

Pour ta première question, je ne fais que du All-Sky Gravitational Wave search on O3, sous-projet Einstein le plus créditeur pour moi sur A2000.

Pour ta deuxième question, sans accès à la machine en effet autant avoir quelqu'un avec la même carte graphique pour te donner l'info

[JeromeC]

Il faut être prudent : en fonction des applis "atteindre le 100% d'usage GPU" peut avoir des effets de bord considérables en terme d'utilisation du CPU.

Par ex sur macOS l'appli OpenCL de O3 (on a que ça qui marche sur mac) sur mon mac en particulier et mon GPU merdique, avec 2 tâches en parallèle j'en suis même pas à 20% de GPU utilisé et ça me bouffe déjà un core thread CPU complet, si j'en mets 3 ça déborde et à chaque fois je perds de la capacité CPU pour faire du boinc CPU (parce que personnellement je veux garder une capacité suffisante pour continuer à faire des tâches CPU et je veux pas que toute la machine soit dédiée à faire des tâches GPU, mais c'est mon choix perso).

ET je ne m'en plains pas car avant l'appli O3 utilisait 0% de GPU sur mon mac (j'en avais longuement parlé ici et sur un topic du fofo Einstein), donc c'est déjà mieux qu'avant.

Donc si pour utiliser près de 100% d'un GPU ça me bouffe pas plus d'un thread CPU, j'accepte, sinon je passe. Sur Primgrid avec leurs applis OpenCL j'ai jamais ce soucis, je suis toujours à 100% du GPU (ou presque) et ça utilise moins (bien moins) d'un thread CPU.

Donc pour revenir à Einstein ben si tu peux pas tester pour la config en particulier, ben t'es marron.

J'avais jamais entendu parler de ton "The Science Cloud", je suis allé voir leur site et ça bien l'air d'être un intermédiaire qui se contente d'acheter du la puissance cloud à ta place et faire tourner des projets boinc à ta place ? je vois pas bien l'intérêt, mis à part que ça te permet de payer juste à la consommation et sur une courte période c'est moins cher ? mais si t'as accès rien et tu dois "juste leur faire confiance" (c'est carrément écrit sur leur site !!) ben moi ça m'intéresse pas.

[Alan St-Pierre]

J'avais jamais entendu parler de ton "The Science Cloud", je suis allé voir leur site et ça bien l'air d'être un intermédiaire qui se contente d'acheter du la puissance cloud à ta place et faire tourner des projets boinc à ta place ? je vois pas bien l'intérêt, mis à part que ça te permet de payer juste à la consommation et sur une courte période c'est moins cher ? mais si t'as accès rien et tu dois "juste leur faire confiance" (c'est carrément écrit sur leur site !!) ben moi ça m'intéresse pas.

C'est une des rares plateformes cloud sur laquelle je peux mettre quelques dollars et faire du Boinc, un peu comme Shadow dans le temps. Je suis limité tant en termes de budget en tant qu'étudiant que par la chaleur dans ma chambre non climatisée d'appartement, alors le cloud fait quand même du sens dans mon cas pour booster ma production de manière très ponctuelle lorsque la situation le demande. Avec le Pentathlon en cours, je vais en profiter pour le dernier lancer du javelot, mais surtout pour le dernier 30% de crédits bonus sur Einstein. Je renseigne ma clé de compte non-robuste, je choisis les projets que je veux faire tourner (dont WuProp), choisis le type d'instance et je lance et cela tourne jusqu'à épuisement des fonds dans le compte.

[JeromeC]

Pour plus polluer ce topic je suis en train de créer un nouveau topic j'ai créé ce topic pour parler de ce The Science Cloud car plus j'y réfléchis et plus je trouve ça pas mal.

Alan n'hésite pas à y intervenir pour apporter ton expérience et répondre à mes questions

[erik]

Il faut être prudent : en fonction des applis "attendre le 100% d'usage GPU" peut avoir des effets de bord considérable en terme d'utilisation du GPU.

L'utilité d'avoir plusieurs applis par GPU sur Einstein c'est que le GPU ne se tourne jamais les pouces. En effet les applis GPU d'Einstein sont en fait hybrides ce qui veut dire qu'il y a des moments ou seul le CPU tourne. Plus il y a d'appli par GPU et moins il y a de chances que l'on se retrouve dans une situation que seul le CPU tourne.
La seule limite chez moi (Ubuntu 24.04) c'est la VRAM de la CG.
Par ailleurs j'ai pu constater que les applis Einstein GPU consommaient largement plus d'un CPU à certains moments. Conclusion: si on fait du full Einstein GPU, il ne faut pas faire des calculs CPU en même temps.

[JeromeC]

Non, il n'y a aucune interaction avec le Boinc de la machine. Tout se fait dans les préférences de projet. Le rattachement aux projets se fait avec la clé non-robuste (weak key), ce qui ne donne pas de pouvoir à TSC de pouvoir contrôler mes comptes de projets.

J'avais pas vu ce msg je veux bien que tu interviennes sur le topic que j'ai créé