Auteur Sujet: [WCG] World Community Grid (multi-projets)  (Lu 216609 fois)

0 Membres et 1 Invité sur ce sujet

[AF] fansyl

  • Modérateur
  • Messages: 1909
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2775 le: 01 mai 2019 à 13:48 »
Des nouvelles du projet "climatique" :

Citer
Voici quelques nouvelles sur l'avancement du premier projet sur le climat :
  • Le lancement de ce projet demeure une priorité absolue et prend beaucoup de temps aux développeurs.
  • Le logiciel que les chercheurs doivent utiliser pour le projet n'a jamais été utilisé de la façon dont nous essayons de l'utiliser. Pour autant que nous le sachions, il n'existe aucun autre logiciel que les chercheurs peuvent utiliser.
  • L'équipe de développement a découvert des bugs dans ce logiciel qui n'ont rien à voir avec le portage sur Windows. (Il y a des bugs dans le logiciel lui-même.) La sortie d'une version uniquement  Linux n'est pas utile, dans ce cas.
  • L'équipe de développement s'est tournée vers d'autres groupes pour obtenir de l'aide, y compris les développeurs du logiciel eux-mêmes, mais la majorité du travail est effectuée par notre équipe de développement.
Nous comprenons que certains bénévoles peuvent être frustrés, et nous nous excusons pour tout inconvénient. Nous sommes tout aussi impatients de lancer le premier projet climatique.
Merci,
Jonathan

En gros, ils galèrent mais ce qui est rassurant c'est qu'ils bossent dessus.

 :hello:
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/16Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912


Maeda

  • Messages: 610
  • Boinc'eur Respectable
  • ****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2776 le: 01 mai 2019 à 14:20 »
Merci pour l'info. Vivement la version bêta :coffeetime:
Sous Linux ? => ⚡ Script pour suspendre / reprendre les UT | 【Que faire avant un RAID/Pentathlon ? Passer l'aspirateur dans ses machines !

F@H
-10€ sur Shadow

modesti

  • CàA
  • Messages: 15790
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2777 le: 01 mai 2019 à 14:39 »
Merci pour l'info. Vivement la version bêta :coffeetime:
:+1:

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

[AF] fansyl

  • Modérateur
  • Messages: 1909
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2778 le: 30 mai 2019 à 09:01 »
Un premier lot de BETA ont été lancées hier soir :
Citer
Nous commençons un test bêta pour un nouveau projet de recherche. Voici les détails de base :

  • 2 000 unités de travail disponibles initialement
  • Le projet utilisera des copies redondantes de sorte qu'il y aura au moins 4 000 résultats totaux disponibles dans cette phase initiale.
  • Temps d’exécution plus long que la durée "normale" WCG - je m'attends à ce que la durée moyenne d'exécution de cette bêta initiale soit de plus de 20 heures CPU.
  • Données d'entrée et de sortie beaucoup plus grandes que d'habitude - La taille des données d'entrée pour ce test initial est d'environ 29 Mo compressées et la taille des données de sortie est d'environ 128 Mo compressées.

Pour vous inscrire à la bêta-test, veuillez vous connecter sur le site Web et naviguer dans Ma contribution -> Bêta-test et vérifier que les cases "Participer à la bêta-test" sont cochées pour les profils auxquels vous souhaitez participer.

NOTE IMPORTANTE - A LIRE
Je veux définir les attentes de chacun de manière appropriée pour ce bêta-test. En raison de certains problèmes et complexités avec le logiciel pour ce projet, notre temps de développement et de test interne a été beaucoup plus long que d'habitude. En raison de cela, je m'attends à un temps de test bêta plus long que d'habitude également. Nous apprendrons beaucoup de ce premier test bêta.
Une fois que j'aurai suffisamment de données pour déterminer dans quelle direction je dois me diriger, je mettrai à jour ce fil de discussion.


EXPLICATIONS DÉTAILLES
Puisque tout le monde attend un nouveau projet depuis un certain temps, je vais inclure quelques détails pour ceux qui sont intéressés.

Nombreux sont ceux qui devineront qu'il s'agit d'un des projets climatiques. Je ne peux ni le confirmer ni le nier, mais je dirai que l'application de recherche utilisée est le modèle Weather Research & Forecasting (WRF) (lien Wikipedia)

WRF est une très grande application, principalement Fortran, et c'est l'un des facteurs qui a contribué au temps de développement plus long que d'habitude. Pour ce projet, la seule méthode disponible pour valider les résultats est d'exécuter des copies redondantes et de vérifier l'équivalence binaire. Bien que l'application WRF comprenne des fonctions de redémarrage, nous avons rencontré des bugs qui causent de légères variations dans le résultat de sortie après un redémarrage, ce qui signifie que les résultats ne sont pas équivalents en binaire. C'est l'une des questions qui a prolongé le temps de développement.

De plus, WRF est généralement exécuté sur de grands clusters de calcul et les redémarrages ne sont généralement pas autant utilisés que nous en avons besoin. Certains des bugs que nous avons trouvés nous ont permis de trouver la cause et de corriger le code. Cependant, il y a encore un ou deux bugs qui se sont avérés très difficiles à corriger. Nous testons actuellement une solution de contournement interne qui se comporte bien dans notre environnement. Cependant, le vrai test sera avec notre environnement bêta pour prouver si la solution de contournement est suffisante ou non.
Pour ceux qui ne sont pas familiers avec l'application WRF, il est utilisé pour simuler les conditions météorologiques sur une région pendant une période définie. Les travaux de ce projet seront divisés en petites régions géographiques et, en fin de compte, chaque région sera simulée pour une année civile. Chaque unité de travail individuelle représente 48 heures de calendrier pour cette simulation. Une fois qu'un résultat a été validé pour les 48 heures, la sortie sera utilisée pour construire l'entrée pour les prochaines 48 heures d'exécution. C'est semblable à certains de nos autres projets, mais la bonne nouvelle ici est que les unités de travail pour la prochaine partie de la simulation seront produites uniquement par nous. Il n'y aura aucun retard dans l'envoi des résultats aux chercheurs pour génération de nouvelles UTs.
Pour ce premier test bêta, les 2 000 unités de travail ne représenteront que la période de simulation initiale de 48 heures.

Comme toujours, merci beaucoup à tous les bêta-testeurs.
armstrdj

WRF est un modèle (américain) météo open-source très utilisé en prévisions météo, je suis curieux de voir ce qu'ils vont en faire pour de la recherche sur le climat.

Attention, UTs très longues (~24h sur un Ryzen 7), prenant pas mal de place sur le disque (~700Mo/UT) et assez gourmandes en RAM (entre 300 et 700Mo/UT). J'ai toujours 16Go de DDR3 à vendre pour ceux que ça intéresse !  :siflotte:

:hello:
« Modifié: 30 mai 2019 à 09:11 par [AF] fansyl »
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/16Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912



franky82

  • Messages: 526
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2780 le: 30 mai 2019 à 11:34 »
J'en ai 2 dans ma file d'attente...
Mon site : Photo de bière - Parrainage Shadow
 

[AF] fansyl

  • Modérateur
  • Messages: 1909
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2781 le: 30 mai 2019 à 14:25 »
Zarck, si je peux me permettre, tu devrais attribuer un cœur de CPU à GPUGrid pour ton GPU via un app_config et avec Swan_Sync activé, il sera mieux exploité.

A noter que je n'ai pas d'heures associées sur WUProp pour le moment.

 :hello:
« Modifié: 30 mai 2019 à 14:32 par [AF] fansyl »
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/16Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912


Zarck

  • Messages: 375
  • Boinc'eur Confirmé
  • ***
  •   
    • Distributedcomputing
Re : Re : [WCG] World Community Grid (multi-projets)
« Réponse #2782 le: 30 mai 2019 à 14:35 »
Zarck, si je peux me permettre, tu devrais attribuer un cœur de CPU à GPUGrid pour ton GPU, il sera mieux exploité.

A noter que je n'ai pas d'heures associées sur WUProp pour le moment.

 :hello:

Cela change quelque chose si cela passe de 0.992 cpus à 1 ?

Et il faut faire quoi pour le passer à 1 ?

Il faut ajouter quoi comme ligne dans cc_config.xml ?

 :kookoo:

DocPhilou1966

  • Messages: 1304
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Mon Job
Re : Re : Re : [WCG] World Community Grid (multi-projets)
« Réponse #2783 le: 30 mai 2019 à 17:14 »
Zarck, si je peux me permettre, tu devrais attribuer un cœur de CPU à GPUGrid pour ton GPU, il sera mieux exploité.

A noter que je n'ai pas d'heures associées sur WUProp pour le moment.

 :hello:

Cela change quelque chose si cela passe de 0.992 cpus à 1 ?

Et il faut faire quoi pour le passer à 1 ?

Il faut ajouter quoi comme ligne dans cc_config.xml ?

 :kookoo:

 :hello:

app_config.xml !

<app_config>



<app>
<name>acemdlong</name>
<gpu_versions>
<gpu_usage>1</gpu_usage>
<cpu_usage>1</cpu_usage>
</gpu_versions>
</app>

<app>
<name>acemdshort</name>
<gpu_versions>
<gpu_usage>1</gpu_usage>
<cpu_usage>1</cpu_usage>
</gpu_versions>
</app>



</app_config>


Et pour swan sync 0 : voir http://www.gpugrid.net/forum_thread.php?id=2123&nowrap=true#16832

Sans cette manip, le temps CPU ne sera pas utilisé à 1 mais à 0.x

Avec tout ça, le temps CPU sera égal au temps GPU. Et le gain en temps de calcul peut être significatif  :hyperbon:

 :hello: :kookoo:

Ptêt qu'un admin voudra bien déplacer ces 2 ou 3 posts vers GPUGrid ? ;)
« Modifié: 01 juin 2019 à 06:14 par DocPhilou1966 »
 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search

Zarck

  • Messages: 375
  • Boinc'eur Confirmé
  • ***
  •   
    • Distributedcomputing
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2784 le: 31 mai 2019 à 00:36 »
Qu'est ce qui ce passe si je mets une valeur supérieur à 1 ?

 :desole:

DocPhilou1966

  • Messages: 1304
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Mon Job
Re : Re : [WCG] World Community Grid (multi-projets)
« Réponse #2785 le: 31 mai 2019 à 05:20 »
Qu'est ce qui ce passe si je mets une valeur supérieur à 1 ?

 :desole:

C'est 0 ou 0  :hello:
Il y a certainement des spécialistes sur le forum qui pourraient expliquer à quoi correspond swan_sync.
Moi j'en ai aucune idée  :miam:
 :kookoo:
« Modifié: 01 juin 2019 à 06:14 par DocPhilou1966 »
 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search

JeromeC

  • CàA
  • Messages: 22839
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2786 le: 31 mai 2019 à 21:16 »
Qu'est ce qui ce passe si je mets une valeur supérieur à 1 ?

 :desole:
Essaye donc :)
Parce que c'était lui, parce que c'était moi.

MortelKni

  • Messages: 114
  • Boinc'eur Junior
  • **
  •   
Re : Re : Re : [WCG] World Community Grid (multi-projets)
« Réponse #2787 le: 01 juin 2019 à 00:32 »
Il y a certainement des spécialistes sur le forum qui pourraient expliquer à quoi correspond swan_sync.
Moi j'en ai aucune idée  :miam:
 :kookoo:

C'est plutôt bien expliqué dans ce post :

Citer
Did we ever decide exactly what swan_sync was?


It controls the method that ACEMD tells the CUDA runtime to use for polling for GPU work completion. The default method is for the application to block until completion; this keeps CPU load to a minimum but introduces latency that slows the program down.

Setting SWAN_SYNC=0 will cause ACEMD to poll for kernel completion, which minimises latency at the cost of CPU.

0 is the only valid value for SWAN_SYNC - anything else will cause undefined behaviour, so don't do it!


The 460 runs cool and quiet which is good but the performance is only about 2.5 x GT-240 but the price is 4 x GT-240.


We will be turning our attention to improving the performance on GF104 cards after the summer vacations. We know what needs to be done.

MJH

De ce thread : http://www.gpugrid.net/forum_thread.php?id=2227&nowrap=true#18135

Et en français (merci DeepL) :

Citer
Avons-nous déjà décidé exactement ce qu'était swan_sync ?


Il contrôle la méthode que ACEMD indique au runtime CUDA d'utiliser pour l'interrogation de l'achèvement du travail GPU. La méthode par défaut consiste à bloquer l'application jusqu'à ce qu'elle soit terminée, ce qui réduit au minimum la charge CPU, mais introduit une latence qui ralentit le programme.

Le paramétrage de SWAN_SYNC=0 amènera l'ACEMD à demander l'achèvement du noyau, ce qui minimise la latence au détriment du CPU.

0 est la seule valeur valide pour SWAN_SYNC - tout le reste causera un comportement indéfini, alors ne le faites pas !

Traduit avec www.DeepL.com/Translator



Fixe : i7 6700k, RTX 2080, 16GB ram, W10
Fixe de secours : i5 2320, GTX 970, 16GB ram, W10
Port. : Dell Latitude E5540 2015, Debian 9 x64

DocPhilou1966

  • Messages: 1304
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Mon Job
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2788 le: 01 juin 2019 à 06:15 »
Merci  :jap:
Du coup j'ai corrigé mon post, j'avais écrit 1  :desole:
 :hello: :kookoo:
 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search

Maeda

  • Messages: 610
  • Boinc'eur Respectable
  • ****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2789 le: 02 juin 2019 à 12:16 »
Ces bêta sont pour tous OS ?
Sous Linux ? => ⚡ Script pour suspendre / reprendre les UT | 【Que faire avant un RAID/Pentathlon ? Passer l'aspirateur dans ses machines !

F@H
-10€ sur Shadow

Zarck

  • Messages: 375
  • Boinc'eur Confirmé
  • ***
  •   
    • Distributedcomputing
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2790 le: 02 juin 2019 à 13:48 »
Première Beta "Climate Change" fini en erreur à 100%... après une journée de calcul...

Reçu trois unités, toutes en erreurs à 100%, j'attends la fin des bêtas pour re-essayer.

 :priz2tet:


Maeda

  • Messages: 610
  • Boinc'eur Respectable
  • ****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2791 le: 02 juin 2019 à 19:53 »
De vrais bêta (ou alpha :siflotte:)!
Sous Linux ? => ⚡ Script pour suspendre / reprendre les UT | 【Que faire avant un RAID/Pentathlon ? Passer l'aspirateur dans ses machines !

F@H
-10€ sur Shadow

franky82

  • Messages: 526
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2792 le: 04 juin 2019 à 20:13 »
Ah, les Beta WCG sont apparues sur WuProp !
Avec mes 2 UT, j'ai crunché 34.57 h
Mon site : Photo de bière - Parrainage Shadow
 

[AF] fansyl

  • Modérateur
  • Messages: 1909
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2793 le: 04 juin 2019 à 22:17 »
Des nouvelles extraites du fil de discussion pour ces UTs beta (https://www.worldcommunitygrid.org/forums/wcg/viewthread_thread,41610)

Le premier lot s'est plutôt bien comporté, même si certains ici ont eu des problèmes. Message de armstrdj, un technicien WCG, le 31 mai:
Citer
Le taux actuel d'erreurs et de résultats invalides de cette version bêta sont faibles et semblent bons. Nous n'ajouterons pas de nouvelles unités de travail avant le début de la semaine prochaine. Nous ajouterons les parties d'automatisation au pipeline qui prend les résultats validés et construit la prochaine période de simulation de 48 heures. Une fois cette option activée, tous les résultats validés des simulations 2000 en cours auront du travail disponible pour la suite. Ensuite, au fur et à mesure que celles-ci seront terminées et validées, les prochaines 48 heures seront construites et chargées. Pour la version bêta, nous irons probablement de 3 à 5 niveaux de profondeur ou en termes de temps de simulation de 6 à 10 jours de simulation. Le plan actuel de production est de simuler une année civile entière.

Puis un autre message aujourd'hui:
Citer
Un utilisateur a fait remarqué un problème lors du redémarrage de tâche. Nous testons un correctif pour cela dans notre environnement alpha interne. Cela retardera un peu le prochain cycle de bêta. Nous espérons que nous serons en mesure de lancer le build de bêta demain et de commencer le prochain tour.


Pour ceux qui s'inquiète des ressources demandés (voir plus haut dans ce topic), un utilisateur a posé la question suivante:
Citer
Si nous supposons que ce projet ne sera exécuté que par une partie des membres, très probablement, ceux avec des ressources plus grandes et plus récentes, pourquoi ne pas appliquer des optimisations du compilateur pour faciliter l'exécution en utilisant de nouvelles instructions plus rapides (type AVX) ? Ce projet n'est probablement pas approprié pour un processeur Pentium

Ceux à quoi il a été répondu:
Citer
Nous n'accepterons pas automatiquement les utilisateurs dans ce projet pour les raisons que vous avez énumérées, mémoire, stockage et bande passante. Nous utilisons toutes les optimisations de compilateurs que nous pouvons. Le problème qui nous empêche d'en utiliser davantage est que pour ce projet, nous ne pouvons valider des résultats positifs qu'avec une équivalence binaire. Cette application est lourde dans les calculs en virgule flottante et sans certaines limitations d'optimisation, nous n'obtiendrions pas d'équivalence binaire en raison des différences d'arrondi, même sur différents processeurs de génération récente.

Bref ça avance mais comme toujours, le parcours est semé d'embuches. Clairement, ne pas compter faire tourner ce projet sur machines ARM.

:hello:

PS: j'ai oublié de remercier Seb qui a fait en sorte de comptabiliser les heures sous WUProp: 575 pour ma participation.
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/16Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912


JeromeC

  • CàA
  • Messages: 22839
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2794 le: 04 juin 2019 à 22:48 »
Ces bêta sont pour tous OS ?
Y'a une réponse à cette question ?
Parce que c'était lui, parce que c'était moi.

[AF] fansyl

  • Modérateur
  • Messages: 1909
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2795 le: 04 juin 2019 à 22:53 »
J'en ai eu sous Ubuntu et W10, je n'ai rien vu concernant Mac donc je ne peux rien dire.
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/16Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912


JeromeC

  • CàA
  • Messages: 22839
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2796 le: 05 juin 2019 à 09:55 »
Merci pour la réponse, je ne demandais pas spécifiquement pour le mac, tu as donc au moins répondu aux 2/3 :)
(en se limitant aux OS de desktops et laptops of course)
Parce que c'était lui, parce que c'était moi.

[AF] fansyl

  • Modérateur
  • Messages: 1909
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2797 le: 05 juin 2019 à 20:57 »
Faites chauffer les modems, de nouvelles UTs devraient arriver demain: https://www.worldcommunitygrid.org/forums/wcg/viewpostinthread?post=611000

 :hello:
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/16Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912


franky82

  • Messages: 526
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : Re : [WCG] World Community Grid (multi-projets)
« Réponse #2798 le: 05 juin 2019 à 21:04 »
Faites chauffer les modems...
Zut, mon US-Robotics 33,6K ne fonctionne plus !  :D  :lol:
Mon site : Photo de bière - Parrainage Shadow
 

JeromeC

  • CàA
  • Messages: 22839
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [WCG] World Community Grid (multi-projets)
« Réponse #2799 le: 05 juin 2019 à 22:27 »
Parce que c'était lui, parce que c'était moi.