Auteur Sujet: [QuChemPedIA] le topic de préparation  (Lu 21773 fois)

0 Membres et 1 Invité sur ce sujet

erik

  • Messages: 2019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #300 le: 09 septembre 2019 à 09:54 »
J'avais effectivement du t8 en VM.
Sinon je ne me souviens plus exactement mais c'est relativement nouveau, quelques jours tout au plus. J'ai eu du t8, puis du t4 et maintenant du t2.
J'ai une t8 prête à démarrer.
   

JeromeC

  • CàA
  • Messages: 22942
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #301 le: 09 septembre 2019 à 20:32 »
Bon ben y'a comme un soucis : j'ai eu la tâche hier en début d'après midi, qui tournait depuis le début... et là j'arrive et j'ai toujours une tâche qui tourne soit disant depuis 8h30 et aucun tâche n'a été terminée ni renvoyée... genre soit elle se réinitialise et tourne en boucle, soit elle aurait été suspendue genre 24h et juste elle repart alors que j'arrive ? je n'en crois rien...
Parce que c'était lui, parce que c'était moi.

franky82

  • Messages: 554
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #302 le: 09 septembre 2019 à 20:48 »
Bon, mon UT vbox64_t4 a fini en 3 jours... en erreur
et mon UT vbox64_t1 crunche toujours : 6 jours et demi et toujours à 99 % !
Mais la nouvelle UT vbox64_t4 est à 60 % en 8h30 !

Et ça y est, NWChem apparaît enfin sur WUProp (en plus de NWChem VM) !
« Modifié: 09 septembre 2019 à 20:50 par franky82 »
Mon site : Photo de bière - Parrainage Shadow
 

JeromeC

  • CàA
  • Messages: 22942
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #303 le: 09 septembre 2019 à 22:31 »
Bon ben voila j'ai craqué, j'ai upgradé mon petit serveur OVH pour un 2 core / 8 Go de RAM... la faute à qui hein la faute à qui ???? :siflotte:

Le prix fait x3 quand même, ça reste raisonnable mais bon, boinc sera ma perte :D

J'ai récupéré illico un wagonnet de tâches, wait & see ;)
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 329
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #304 le: 10 septembre 2019 à 11:10 »
Pour la documentation des crédits je suis tombé la-dessus : https://boinc.berkeley.edu/trac/wiki/CreditOptions

et je me sens pas plus avancé  :priz2tet:

modesti

  • CàA
  • Messages: 15835
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [QuChemPedIA] le topic de préparation
« Réponse #305 le: 10 septembre 2019 à 16:52 »
Peut-être que l'admin de RNA peut t'aider à ce propos? Ce projet donne aussi des crédits pour des UT finies en erreur de calcul ou abandonnées en cours de route.
Exemple, celle-ci

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

JeromeC

  • CàA
  • Messages: 22942
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #306 le: 10 septembre 2019 à 20:33 »
Ayé fini ma première tâche sur minux !! enfin... \o/

Ah oui, comment dire, celle du Mac... elle court toujours !!

Parce que c'était lui, parce que c'était moi.

franky82

  • Messages: 554
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #307 le: 10 septembre 2019 à 21:14 »
Ah oui, comment dire, celle du Mac... elle court toujours !!
Mon UT vbox64_t1 aussi !  :priz2tet:
#sansfin
Mon site : Photo de bière - Parrainage Shadow
 

marmot

  • Messages: 5
  • P'tit Nouveau
  • *
  •   
Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #308 le: 11 septembre 2019 à 00:12 »

Par contre sous Windows c'est hyper compliqué, dès que les applis utilisent une VM, le PC devient inutilisable (jusqu'a être impossible à déverrouiller, obligé de passer par un reset). Je ne sais pas si il y a moyen de passer des arguments à la VBox en disant qu'elle ne peut pas utiliser ses coeurs à plus de 90% par exemple ?


Si vous dites à BOINC Manager de n'utiliser que 90% du CPU (vue avancée : options -> préférences de calcul -> calcul -> utiliser au maximum), il devrait passer ce pourcentage sur la machine virtuelle.  Vous pouvez confirmer en ouvrant la boîte virtuelle, en cliquant sur la VM de NWChem et en regardant Paramètres -> Capuchon d'exécution.  C'est l'un des rares paramètres qui peuvent être modifiés pendant le fonctionnement de la VM.  Vous pourriez être en mesure de contrôler manuellement cela et de ne pas interrompre l'exécution de WU.

Traduit avec www.DeepL.com/Translator


marmot

  • Messages: 5
  • P'tit Nouveau
  • *
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #309 le: 11 septembre 2019 à 01:40 »
Pour la documentation des crédits je suis tombé la-dessus : https://boinc.berkeley.edu/trac/wiki/CreditOptions

et je me sens pas plus avancé  :priz2tet:
DHEP, Climate Prediction, RNA World (boîte virtuelle) et d'autres projets ont déjà permis d'accumuler des crédits.  Pas besoin de réinventer la roue, peut-être qu'un des administrateurs/devs offrira la solution gratuitement ?

Je n'ai plus que du t2, ils vont durer largement plus de 2 jours et quasiment tous mes cpus sont à l'arrêt :eek:

C'est étrange cette affaire ! Comme si l'application avait une préférence pour 2 cœurs en particulier... C'est nouveau ? C'est depuis que l'application n'est plus en VM peut-être ? 


J'ai réglé ma VM Linux antiX faite à la main sur 2 cœurs, 4 cœurs et 8 cœurs et j'ai redémarré la machine.  Enregistré tous les détails du fichier client_state.xml au fur et à mesure que les WU's arrivaient (et ont été annulés parce que c'était une expérimentation).  A 2 coeurs, le serveur avait tendance à envoyer des paires de 1 coeurs WU's.  A 4 coeurs, le serveur envoyait une paire de 2 coeurs mais parfois 4 coeurs.  A 8 cœurs,  le serveur envoyait toujours 8 cœur WU's. (mais mon expérimentation a été limitée. Les résultats de l'ensemble de données de client_state.xml affichés à la fin).


@marmot : utilises https://www.deepl.com/translator !
Merci, ça a mieux fonctionné bien qu'il ait eu des problèmes avec l'utilisation des mots en informatique (threads, cores, a continué d'essayer de donner au serveur ou à VM un genre masculin au lieu d'un genre non sexiste).   Aussi que le mot "experiment" n'est proposé qu'à titre "d'expérience" ou "d'expérimentation" pour une raison idiote.


@SVojna et les autres : mais combien de RAM la tâche maximum la tâche utiliser *réellement* durant son exécution ?

Chaque thread nwchem commence avec 146 MiB dans ma distribution linux.  Il est passé à 156 Mo par thread après 1 heure.  (J'ai arrêté l'expérience après 1 heure et je ferai d'autres tests dans 2 jours après que les WU Windows NWChem seront terminés.)  Chaque thread réclame 1.2GiB de mémoire pour une utilisation potentielle.  Il faudra encore de nombreux jours pour regarder les threads WU afin de voir quelle RAM maximale ils prennent réellement. 

L'emballage NWchem vérifie si vous avez 2048 Mio disponibles pour BOINC et ne négocier. 
J'ai été capable d'obtenir l'antiX VM pour exécuter NWchem à des réglages minimal 2112 MiB RAM dans la Virtual Box ; bien que la RAM maximale utilisée pour l'heure n'ait jamais dépassé 700MiB sur 4 threads NWchem.

Traduit avec www.DeepL.com/Translator

-----------------
Voici donc les résultats de client_state.xml (extrait des informations superflues). 
Remarquez comment la <classe_plan>t1</classe_plan> se poursuit accepte
<cmdline>-t4</cmdline>
ou
<cmdline>-t2</cmdline> ?

@damotbe, La classe de plan t1 avec les options cmdline est en concurrence avec les classes de plan t2 et t4 ?


<app_version>
    <app_name>nwchem</app_name>
<version_num>6</version_num>
    <platform>x86_64-pc-linux-gnu</platform>
    <avg_ncpus>1.000000</avg_ncpus>
    <plan_class>t1</plan_class>
 
    <file_ref>
        <file_name>nwchem_t1_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>2.000000</avg_ncpus>
    <plan_class>t1</plan_class>
    <cmdline>-t2</cmdline>

    <file_ref>
        <file_name>nwchem_t1_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>4.000000</avg_ncpus>
    <plan_class>t1</plan_class>
    <cmdline>-t4</cmdline>

    <file_ref>
        <file_name>nwchem_t1_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>2.000000</avg_ncpus>
    <plan_class>t2</plan_class>
   
<file_ref>
        <file_name>nwchem_t2_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>4.000000</avg_ncpus>
    <plan_class>t4</plan_class>
     
<file_ref>
        <file_name>nwchem_t4_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>8.000000</avg_ncpus>
    <plan_class>t8</plan_class>
   
<file_ref>
        <file_name>nwchem_t8_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>

    <file_ref>
        <file_name>nwchem_vm_0.3.vdi</file_name>
    </file_ref>
</app_version>

-------------

Même avec https://www.deepl.com/translator ce message était difficile parce que deepl ne comprend pas l'usage spécifique des mots à partir des indices contextuels dont nous parlons en informatique.
« Modifié: 11 septembre 2019 à 01:42 par marmot »

JeromeC

  • CàA
  • Messages: 22942
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #310 le: 11 septembre 2019 à 10:45 »
Oui là il est clair qu'on a sur un vocabulaire très "pointu" sur un sujet "de niche", mais pour des gens qui "parlent l'informatique", donc on ne peut pas s'attendre qu'un traducteur "universel" s'en sorte facilement, nous n'utilisons même pas exactement les mêmes mots pour les mêmes concepts entre nous :)

Mais ne t'inquiète pas on te comprend bien !

Merci pour tous les détails que tu fournis, j'espère que ça pourra aider damotbe et son futur stagiaire :)
Parce que c'était lui, parce que c'était moi.

erik

  • Messages: 2019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #311 le: 12 septembre 2019 à 08:01 »
Hier mon ordi a renvoyé 1 tache.(t2)
Le temps de CPU est très inférieur au temps écoulé  cocoricooo

https://quchempedia.univ-angers.fr/athome/result.php?resultid=7998

J'ai regardé les propriétés des tâches en cours: même phénomène.
En voici une:


Application
NWChem 0.06 (t2)
Nom
dsgdb9nsd_nwchem,bath19,dsgdb9nsd_062081,nwchem,1567213400
État
Calculs en cours
Reçu
jeu. 05 sept. 2019 01:40:13 CEST
Date limite d'envoi
jeu. 19 sept. 2019 01:40:12 CEST
Ressources
2 CPUs
Taille de tâche estimée
500 000 GFLOPs
Temps de calcul
21:28:23
CPU time since checkpoint
21:28:23
Temps écoulé
6d 03:56:59
Temps restant estimé
00:08:30
Portion effectuée
99,904%
Taille de la mémoire virtuelle
1,90 GB
Espace mémoire alloué
230,38 MB
Répertoire
slots/12
ID du process
6701
Taux de progression
0,720% par heure
Exécutable
wrapper_26014_x86_64-pc-linux-gnu
« Modifié: 12 septembre 2019 à 08:16 par erik »
   

damotbe

  • Messages: 329
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #312 le: 12 septembre 2019 à 08:54 »
Merci à tous pour vos retours et votre patience sur ce projet encore très expérimental. Nous venons de passer les 300 résultats exploitables grâce à votre aide ! C'est génial  :love:

Peut-être que l'admin de RNA peut t'aider à ce propos? Ce projet donne aussi des crédits pour des UT finies en erreur de calcul ou abandonnées en cours de route.
Exemple, celle-ci
DHEP, Climate Prediction, RNA World (boîte virtuelle) et d'autres projets ont déjà permis d'accumuler des crédits.  Pas besoin de réinventer la roue, peut-être qu'un des administrateurs/devs offrira la solution gratuitement ?

Oui, il va falloir aller demander de l'aide à ceux qui connaissent une solution en espérant que la personne qui a mis en place soit toujours là. En attendant, c'est la rentrée universitaire depuis quelques jours déjà et j'ai du mal à mener tous les fronts  :pt1cable:

Hier mon ordi a renvoyé 1 tache.(t2)
Le temps de CPU est très inférieur au temps écoulé  cocoricooo

https://quchempedia.univ-angers.fr/athome/result.php?resultid=7998

Oui, ça rejoint tes autres screenshots : plusieurs tâches bloquées sur les 2 mêmes cœurs. Du coup, elles s'alternent et le temps CPU (réellement utilisé) devient très différent du temps passé. J'ai croisé Théo, on va essayer de se voir et discuter des différents sujets.

@damotbe, La classe de plan t1 avec les options cmdline est en concurrence avec les classes de plan t2 et t4 ?

Je pense que oui. Peut-être que Théo pourra me confirmer.

JeromeC

  • CàA
  • Messages: 22942
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #313 le: 12 septembre 2019 à 15:04 »
Bon alors ma tâche Mac s'est finalement terminée : 2j 18h de durée pour 3j 2h de temps CPU !! Car c'était une UT 2 cores, on est donc loin du compte, le CPU semble très sous-utilisé.

Et sur ma VM minux (*) en réalité augmentée j'en ai déjà fini 4 en 2C aussi (mais là, j'ai pas le choix) mais là où ça devient très curieux c'est qu'une seule a un ratio cohérent durée / temps CPU (x2) et la 3 autres ont la même durée pour les deux...

tâche   durée   temps CPU
8265   17,7   33,2
8318   23,1   23,1
8391   34,6   34,6
8411   22,3   22,3

(*) je n'utilise pas minux, c'est juste une référence culturelle :)
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 329
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #314 le: 12 septembre 2019 à 15:25 »
Je pense que le code nwChem n'est pas toujours bien parallélisé et comme il y a de nombreuses étapes avec des durées très différentes d'un calcul à l'autre, on a parfois des cas un peu extrême comme ça.
De mon point de vue, le plus efficace c'est 1 thread, mais par contre c'est très long... Si on met plus de thread on prend le risque de sous-utilisation  :/

C'est vraiment pas top comme software comparativement au logiciel propriétaire qu'on utilise en privé...

fzs600

  • Modérateur
  • Messages: 5879
  • Boinc'eur devant l'éternel
  • *****
  •   

Utilisateur GNU-LINUX. fzs600@hub.g3l.org

JeromeC

  • CàA
  • Messages: 22942
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #316 le: 13 septembre 2019 à 18:57 »
Noooo...

Citer
Bonjour minux (*)
- Allez y monsieur, posez votre question.
- J'ai pas de questions, c'est pour dire a René qu'il aille directement chez zezette, parsque comme j'ai pommé les clés du camions j'vais être perdu pour ouvrir les portes de l'armoire...
- Vous pouvez le dire a monsieur, simone...
- Candidat suivant, c'est monsieur?
- C'est papi Moujooooos
(*) à la réflexion il dit ptet "milux" mais c'est pas grave depuis ma jeunesse j'entends "minux" :)

Sinon c'est une débian :D
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 329
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #317 le: 14 septembre 2019 à 11:17 »
 :hello:

Grâce à vos calculs, on a identifié quelques stratégies pour améliorer la situation :
- rendre les critères de convergence moins stricts, ce qui devrait (considérablement ?) accélérer les calculs.
- enlever une étape du calcul, source de beaucoup de bugs et gain de temps à la clé
- uniquement des applications 1 cpu pour ne pas réserver inutilement des cœurs qui restent souvent inutilisés.

Les temps de calculs resteront longs mais on devrait gaspiller moins et avoir plus souvent des succès.

Points en attente :
- on reste sur environ 2Go de mémoire. On manque de recul pour savoir si les molécules plus grandes poseront problème avec moins.
- pour les points, je vais demander de l'aide sur d'autres forums quand j'aurai un peu de temps
- pour les badges, on est toujours open à des contributions. Pour la première phase de test, on compte attribuer un badge spécial pour récompenser les efforts !

Par conséquent, on devra annuler et soumettre des nouvelles unités peut-être à plusieurs reprises dans les jours/semaines à venir.

[AF>Amis des Lapins] Jean-Luc

  • Messages: 2202
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #318 le: 14 septembre 2019 à 13:21 »
Merci damotbe, de nous faire vivre la naissance de ce projet !
Superbe !
Je suis vraiment désolé de n'avoir pas réussi à calculer des WUs pour contribuer à la mise au point de ce projet.
Avec de pareilles ram nécessaires, je ne pourrai de toute façon que faire des calculs avec la machine que je projette de me procurer dans quelques mois.
Mais je serai là moi aussi pour QuChemPedIA dès que possible...



Rédacteur d'un article sur BOINC, adresse :
http://www.astrocaw.eu/?p=605
Créateur d'un site actif de recherche sur les suites aliquotes :
http://www.aliquotes.com/

franky82

  • Messages: 554
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #319 le: 14 septembre 2019 à 19:50 »
J'ai finalisé mon premier essai de badges pour QuChemPedIA et je vous le soumets !
Mon site : Photo de bière - Parrainage Shadow
 

damotbe

  • Messages: 329
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #320 le: 14 septembre 2019 à 20:33 »
J'ai finalisé mon premier essai de badges pour QuChemPedIA et je vous le soumets !

C'est vraiment top, j'aime beaucoup !
Est-ce que tu aurais une idée pour ajouter le côté chimie ?

franky82

  • Messages: 554
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #321 le: 14 septembre 2019 à 20:36 »
J' y avais pensé mais ça fait chargé... (ça rend bien en grand mais dès qu'on réduit...)
mais je vais essayer d'autres idées !
Mon site : Photo de bière - Parrainage Shadow
 

damotbe

  • Messages: 329
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #322 le: 14 septembre 2019 à 22:02 »
J' y avais pensé mais ça fait chargé... (ça rend bien en grand mais dès qu'on réduit...)
mais je vais essayer d'autres idées !

au fait, c'est pourquoi le 'W' ?

franky82

  • Messages: 554
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #323 le: 14 septembre 2019 à 23:04 »
Le W, c'est pour le Pedia (Wiki) !  :kookoo:

2ème version de badges avec chimie !
Mon site : Photo de bière - Parrainage Shadow
 

modesti

  • CàA
  • Messages: 15835
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [QuChemPedIA] le topic de préparation
« Réponse #324 le: 14 septembre 2019 à 23:26 »
sympa, mais en 20x20 pixels ça donne quoi?

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip