Le Forum de l'Alliance Francophone

Nouvelles:

Auteur Sujet: [WCG] World Community Grid (multi-projets)  (Lu 372978 fois)

0 Membres et 4 Invités sur ce sujet

Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #2775 le: 01 May 2019 à 14:20
Merci pour l'info. Vivement la version bêta :coffeetime:


Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #2776 le: 01 May 2019 à 14:39
Merci pour l'info. Vivement la version bêta :coffeetime:
:+1:


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2777 le: 30 May 2019 à 09:01
Un premier lot de BETA ont été lancées hier soir :
Citer
Nous commençons un test bêta pour un nouveau projet de recherche. Voici les détails de base :

  • 2 000 unités de travail disponibles initialement
  • Le projet utilisera des copies redondantes de sorte qu'il y aura au moins 4 000 résultats totaux disponibles dans cette phase initiale.
  • Temps d’exécution plus long que la durée "normale" WCG - je m'attends à ce que la durée moyenne d'exécution de cette bêta initiale soit de plus de 20 heures CPU.
  • Données d'entrée et de sortie beaucoup plus grandes que d'habitude - La taille des données d'entrée pour ce test initial est d'environ 29 Mo compressées et la taille des données de sortie est d'environ 128 Mo compressées.

Pour vous inscrire à la bêta-test, veuillez vous connecter sur le site Web et naviguer dans Ma contribution -> Bêta-test et vérifier que les cases "Participer à la bêta-test" sont cochées pour les profils auxquels vous souhaitez participer.

NOTE IMPORTANTE - A LIRE
Je veux définir les attentes de chacun de manière appropriée pour ce bêta-test. En raison de certains problèmes et complexités avec le logiciel pour ce projet, notre temps de développement et de test interne a été beaucoup plus long que d'habitude. En raison de cela, je m'attends à un temps de test bêta plus long que d'habitude également. Nous apprendrons beaucoup de ce premier test bêta.
Une fois que j'aurai suffisamment de données pour déterminer dans quelle direction je dois me diriger, je mettrai à jour ce fil de discussion.


EXPLICATIONS DÉTAILLES
Puisque tout le monde attend un nouveau projet depuis un certain temps, je vais inclure quelques détails pour ceux qui sont intéressés.

Nombreux sont ceux qui devineront qu'il s'agit d'un des projets climatiques. Je ne peux ni le confirmer ni le nier, mais je dirai que l'application de recherche utilisée est le modèle Weather Research & Forecasting (WRF) (lien Wikipedia)

WRF est une très grande application, principalement Fortran, et c'est l'un des facteurs qui a contribué au temps de développement plus long que d'habitude. Pour ce projet, la seule méthode disponible pour valider les résultats est d'exécuter des copies redondantes et de vérifier l'équivalence binaire. Bien que l'application WRF comprenne des fonctions de redémarrage, nous avons rencontré des bugs qui causent de légères variations dans le résultat de sortie après un redémarrage, ce qui signifie que les résultats ne sont pas équivalents en binaire. C'est l'une des questions qui a prolongé le temps de développement.

De plus, WRF est généralement exécuté sur de grands clusters de calcul et les redémarrages ne sont généralement pas autant utilisés que nous en avons besoin. Certains des bugs que nous avons trouvés nous ont permis de trouver la cause et de corriger le code. Cependant, il y a encore un ou deux bugs qui se sont avérés très difficiles à corriger. Nous testons actuellement une solution de contournement interne qui se comporte bien dans notre environnement. Cependant, le vrai test sera avec notre environnement bêta pour prouver si la solution de contournement est suffisante ou non.
Pour ceux qui ne sont pas familiers avec l'application WRF, il est utilisé pour simuler les conditions météorologiques sur une région pendant une période définie. Les travaux de ce projet seront divisés en petites régions géographiques et, en fin de compte, chaque région sera simulée pour une année civile. Chaque unité de travail individuelle représente 48 heures de calendrier pour cette simulation. Une fois qu'un résultat a été validé pour les 48 heures, la sortie sera utilisée pour construire l'entrée pour les prochaines 48 heures d'exécution. C'est semblable à certains de nos autres projets, mais la bonne nouvelle ici est que les unités de travail pour la prochaine partie de la simulation seront produites uniquement par nous. Il n'y aura aucun retard dans l'envoi des résultats aux chercheurs pour génération de nouvelles UTs.
Pour ce premier test bêta, les 2 000 unités de travail ne représenteront que la période de simulation initiale de 48 heures.

Comme toujours, merci beaucoup à tous les bêta-testeurs.
armstrdj

WRF est un modèle (américain) météo open-source très utilisé en prévisions météo, je suis curieux de voir ce qu'ils vont en faire pour de la recherche sur le climat.

Attention, UTs très longues (~24h sur un Ryzen 7), prenant pas mal de place sur le disque (~700Mo/UT) et assez gourmandes en RAM (entre 300 et 700Mo/UT). J'ai toujours 16Go de DDR3 à vendre pour ceux que ça intéresse !  :siflotte:

:hello:
« Modifié: 30 May 2019 à 09:11 par [AF] fansyl »

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne franky82

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1969
  •   
    • Photo de bière
Réponse #2778 le: 30 May 2019 à 11:34
J'en ai 2 dans ma file d'attente...

Mon site : Photo de bière
 



Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2779 le: 30 May 2019 à 14:25
Zarck, si je peux me permettre, tu devrais attribuer un cœur de CPU à GPUGrid pour ton GPU via un app_config et avec Swan_Sync activé, il sera mieux exploité.

A noter que je n'ai pas d'heures associées sur WUProp pour le moment.

 :hello:
« Modifié: 30 May 2019 à 14:32 par [AF] fansyl »

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne DocPhilou1966

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1869
  •   
    • Mon Job
    • E-mail
Réponse #2780 le: 30 May 2019 à 17:14
Zarck, si je peux me permettre, tu devrais attribuer un cœur de CPU à GPUGrid pour ton GPU, il sera mieux exploité.

A noter que je n'ai pas d'heures associées sur WUProp pour le moment.

 :hello:

Cela change quelque chose si cela passe de 0.992 cpus à 1 ?

Et il faut faire quoi pour le passer à 1 ?

Il faut ajouter quoi comme ligne dans cc_config.xml ?

 :kookoo:

 :hello:

app_config.xml !

<app_config>



<app>
<name>acemdlong</name>
<gpu_versions>
<gpu_usage>1</gpu_usage>
<cpu_usage>1</cpu_usage>
</gpu_versions>
</app>

<app>
<name>acemdshort</name>
<gpu_versions>
<gpu_usage>1</gpu_usage>
<cpu_usage>1</cpu_usage>
</gpu_versions>
</app>



</app_config>


Et pour swan sync 0 : voir http://www.gpugrid.net/forum_thread.php?id=2123&nowrap=true#16832

Sans cette manip, le temps CPU ne sera pas utilisé à 1 mais à 0.x

Avec tout ça, le temps CPU sera égal au temps GPU. Et le gain en temps de calcul peut être significatif  :hyperbon:

 :hello: :kookoo:

Ptêt qu'un admin voudra bien déplacer ces 2 ou 3 posts vers GPUGrid ? ;)
« Modifié: 01 June 2019 à 06:14 par DocPhilou1966 »

 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search


Hors ligne DocPhilou1966

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1869
  •   
    • Mon Job
    • E-mail
Réponse #2781 le: 31 May 2019 à 05:20
Qu'est ce qui ce passe si je mets une valeur supérieur à 1 ?

 :desole:

C'est 0 ou 0  :hello:
Il y a certainement des spécialistes sur le forum qui pourraient expliquer à quoi correspond swan_sync.
Moi j'en ai aucune idée  :miam:
 :kookoo:
« Modifié: 01 June 2019 à 06:14 par DocPhilou1966 »

 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #2782 le: 31 May 2019 à 21:16
Qu'est ce qui ce passe si je mets une valeur supérieur à 1 ?

 :desole:
Essaye donc :)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne MortelKni

  • Boinc'eur Junior
  • **
  • Messages: 133
  •   
    • E-mail
Réponse #2783 le: 01 June 2019 à 00:32
Il y a certainement des spécialistes sur le forum qui pourraient expliquer à quoi correspond swan_sync.
Moi j'en ai aucune idée  :miam:
 :kookoo:

C'est plutôt bien expliqué dans ce post :

Citer
Did we ever decide exactly what swan_sync was?


It controls the method that ACEMD tells the CUDA runtime to use for polling for GPU work completion. The default method is for the application to block until completion; this keeps CPU load to a minimum but introduces latency that slows the program down.

Setting SWAN_SYNC=0 will cause ACEMD to poll for kernel completion, which minimises latency at the cost of CPU.

0 is the only valid value for SWAN_SYNC - anything else will cause undefined behaviour, so don't do it!


The 460 runs cool and quiet which is good but the performance is only about 2.5 x GT-240 but the price is 4 x GT-240.


We will be turning our attention to improving the performance on GF104 cards after the summer vacations. We know what needs to be done.

MJH

De ce thread : http://www.gpugrid.net/forum_thread.php?id=2227&nowrap=true#18135

Et en français (merci DeepL) :

Citer
Avons-nous déjà décidé exactement ce qu'était swan_sync ?


Il contrôle la méthode que ACEMD indique au runtime CUDA d'utiliser pour l'interrogation de l'achèvement du travail GPU. La méthode par défaut consiste à bloquer l'application jusqu'à ce qu'elle soit terminée, ce qui réduit au minimum la charge CPU, mais introduit une latence qui ralentit le programme.

Le paramétrage de SWAN_SYNC=0 amènera l'ACEMD à demander l'achèvement du noyau, ce qui minimise la latence au détriment du CPU.

0 est la seule valeur valide pour SWAN_SYNC - tout le reste causera un comportement indéfini, alors ne le faites pas !

Traduit avec www.DeepL.com/Translator




Fixe : R9 3900X, RTX 2080, 32GB ram, W10
Fixe de secours :  i7 6700k, GTX 970, 16GB ram, W10


Hors ligne DocPhilou1966

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1869
  •   
    • Mon Job
    • E-mail
Réponse #2784 le: 01 June 2019 à 06:15
Merci  :jap:
Du coup j'ai corrigé mon post, j'avais écrit 1  :desole:
 :hello: :kookoo:

 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #2785 le: 02 June 2019 à 12:16
Ces bêta sont pour tous OS ?


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #2786 le: 02 June 2019 à 19:53
De vrais bêta (ou alpha :siflotte:)!


Hors ligne franky82

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1969
  •   
    • Photo de bière
Réponse #2787 le: 04 June 2019 à 20:13
Ah, les Beta WCG sont apparues sur WuProp !
Avec mes 2 UT, j'ai crunché 34.57 h

Mon site : Photo de bière
 



Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2788 le: 04 June 2019 à 22:17
Des nouvelles extraites du fil de discussion pour ces UTs beta (https://www.worldcommunitygrid.org/forums/wcg/viewthread_thread,41610)

Le premier lot s'est plutôt bien comporté, même si certains ici ont eu des problèmes. Message de armstrdj, un technicien WCG, le 31 mai:
Citer
Le taux actuel d'erreurs et de résultats invalides de cette version bêta sont faibles et semblent bons. Nous n'ajouterons pas de nouvelles unités de travail avant le début de la semaine prochaine. Nous ajouterons les parties d'automatisation au pipeline qui prend les résultats validés et construit la prochaine période de simulation de 48 heures. Une fois cette option activée, tous les résultats validés des simulations 2000 en cours auront du travail disponible pour la suite. Ensuite, au fur et à mesure que celles-ci seront terminées et validées, les prochaines 48 heures seront construites et chargées. Pour la version bêta, nous irons probablement de 3 à 5 niveaux de profondeur ou en termes de temps de simulation de 6 à 10 jours de simulation. Le plan actuel de production est de simuler une année civile entière.

Puis un autre message aujourd'hui:
Citer
Un utilisateur a fait remarqué un problème lors du redémarrage de tâche. Nous testons un correctif pour cela dans notre environnement alpha interne. Cela retardera un peu le prochain cycle de bêta. Nous espérons que nous serons en mesure de lancer le build de bêta demain et de commencer le prochain tour.


Pour ceux qui s'inquiète des ressources demandés (voir plus haut dans ce topic), un utilisateur a posé la question suivante:
Citer
Si nous supposons que ce projet ne sera exécuté que par une partie des membres, très probablement, ceux avec des ressources plus grandes et plus récentes, pourquoi ne pas appliquer des optimisations du compilateur pour faciliter l'exécution en utilisant de nouvelles instructions plus rapides (type AVX) ? Ce projet n'est probablement pas approprié pour un processeur Pentium

Ceux à quoi il a été répondu:
Citer
Nous n'accepterons pas automatiquement les utilisateurs dans ce projet pour les raisons que vous avez énumérées, mémoire, stockage et bande passante. Nous utilisons toutes les optimisations de compilateurs que nous pouvons. Le problème qui nous empêche d'en utiliser davantage est que pour ce projet, nous ne pouvons valider des résultats positifs qu'avec une équivalence binaire. Cette application est lourde dans les calculs en virgule flottante et sans certaines limitations d'optimisation, nous n'obtiendrions pas d'équivalence binaire en raison des différences d'arrondi, même sur différents processeurs de génération récente.

Bref ça avance mais comme toujours, le parcours est semé d'embuches. Clairement, ne pas compter faire tourner ce projet sur machines ARM.

:hello:

PS: j'ai oublié de remercier Seb qui a fait en sorte de comptabiliser les heures sous WUProp: 575 pour ma participation.

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #2789 le: 04 June 2019 à 22:48
Ces bêta sont pour tous OS ?
Y'a une réponse à cette question ?

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2790 le: 04 June 2019 à 22:53
J'en ai eu sous Ubuntu et W10, je n'ai rien vu concernant Mac donc je ne peux rien dire.

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #2791 le: 05 June 2019 à 09:55
Merci pour la réponse, je ne demandais pas spécifiquement pour le mac, tu as donc au moins répondu aux 2/3 :)
(en se limitant aux OS de desktops et laptops of course)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2792 le: 05 June 2019 à 20:57
Faites chauffer les modems, de nouvelles UTs devraient arriver demain: https://www.worldcommunitygrid.org/forums/wcg/viewpostinthread?post=611000

 :hello:

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne franky82

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1969
  •   
    • Photo de bière
Réponse #2793 le: 05 June 2019 à 21:04
Faites chauffer les modems...
Zut, mon US-Robotics 33,6K ne fonctionne plus !  :D  :lol:

Mon site : Photo de bière
 



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #2794 le: 05 June 2019 à 22:27

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2795 le: 12 June 2019 à 21:45
De nouvelles beta continuent de sortir régulièrement:

Citer
Nous avons activé la plupart de l'automatisation, sauf le chargement. Actuellement, lorsqu'une unité de travail reçoit deux copies valides, les fichiers d'entrée pour les 48 prochaines heures sont automatiquement téléchargés et l'unité de travail suivante est construite et indexée. Actuellement, nous chargeons manuellement ces unités de travail une fois par jour juste pour valider que tout fonctionne correctement. A l'avenir, le chargement sera automatisé comme c'est le cas pour d'autres projets.

Dans les unités de travail chargées ce matin, il y avait plusieurs 003 unités de travail qui ont été chargées. Pour cette bêta, nous allons passer par 004.
Merci,
armstrdj

 :hello:

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2796 le: 03 July 2019 à 21:46
De nouvelles unités avec un nouveau numéro de version (7.23) ont été envoyées:
Citer
La version de l'application a été mise à jour vers la version 7.23. Cette mise à jour aborde deux points principaux.

Tout d'abord, lors de la dernière mise à jour, il y a eu un bug qui a fait sauter le dernier point de contrôle (à la fin de la simulation). Cela n'a eu aucun effet sur les résultats, mais si une tâche quittait après la simulation, mais avant le post-traitement, elle redémarrait et réexécuterait les 6 dernières heures de la simulation. Ceci a été corrigé et si une tâche quitte pendant le post-traitement, elle passera directement au post-traitement au redémarrage.

Deuxièmement, le calcul du pourcentage d'achèvement a été mis à jour pour ne pas afficher 100 % d'achèvement tant que tout le post-traitement n'est pas terminé.
Merci. Merci,
armstrdj

Bref ça avance et on peut espérer un lancement à court terme  :)

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #2797 le: 04 July 2019 à 07:30
Tu parles de quel sous-projet ?


Hors ligne [AF] fansyl

  • Modérateur
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2397
  •   
Réponse #2798 le: 04 July 2019 à 19:44
ARP, le nouveau projet sur le climat.

Et non on ne connait pas encore la signification de l'acronyme.

 :hello:

Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 5700G/32Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912



Hors ligne franky82

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1969
  •   
    • Photo de bière
Réponse #2799 le: 05 July 2019 à 10:36
Plus de tâches pour OpenZika, temporairement !
Apparemment, c'était annoncé : https://www.worldcommunitygrid.org/forums/wcg/viewthread_thread,41703_offset,0
Citer
We will likely have a break in work available for this project starting in about a week when existing work runs out. The break is expected to be short based on estimates from the researchers (current estimates are a break of less than a week).
Citer
Nous aurons probablement une pause dans le travail disponible pour ce projet à partir d'environ une semaine lorsque le travail existant sera épuisé. On s'attend à ce que la pause soit courte selon les estimations des chercheurs (les estimations actuelles sont une pause de moins d'une semaine).

Du coup mes Android qui ne crunchaient que ça (en plus de Smash Childhood Cancer, déjà en pause) sont à sec !  :/
« Modifié: 05 July 2019 à 10:39 par franky82 »

Mon site : Photo de bière