Auteur Sujet: [QuChemPedIA] le topic de préparation  (Lu 44796 fois)

0 Membres et 1 Invité sur ce sujet

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #525 le: 10 novembre 2019 à 10:25 »
 :hello:

1 UT pour tester et contribuer c'est déjà beaucoup pour nous.

JeromeC

  • CàA
  • Messages: 23435
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #526 le: 10 novembre 2019 à 13:48 »
Bon finalement j'avais retrouvé le Mac avec du WCG et du QCPIA en même temps et les 8 threads occupés... vas comprendre... mais le 2ème QCPIA s'était retrouvé suspendu... et maintenant je constate que WCG phagocyte tout et prend les 8 threads et j'ai 3 QCPIA suspendus maintenant.... :rhaa:
Parce que c'était lui, parce que c'était moi.

nabz

  • Animateur fanatique
  • Messages: 5342
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #527 le: 10 novembre 2019 à 14:11 »
Je ne sais pas si c'est dû à l'ouverture de la chasse :desole:, mais mes débuts prometteurs n'ont pas eu une suite aussi favorable.

État: Tous (3027) · En cours (8) · Validation en attente (0) · Validation non concluante (0) · Valide (1373) · Invalide (363) · Erreur (1283)

En détails, 82 "vraies" erreurs, le reste c'est des annulations de tâches par le serveur ! :gun:
« Modifié: 11 novembre 2019 à 12:54 par nabz »
Contrôle de BOINC : SAM - BoincTasks 1.79 - Bureau à distance Chrome
Calculs : Boinc 7.14.2 SF - VirtualBox 5.2.26 -  TThrottle 7.72 - Pilote AMD 19.9.2 (RadeonVII) / 17.9.3 (HD7970) - Pilote nVidia 436.48
OS et utilitaires : Win10-x64 Pro 1903 - Core Temp 1.15 - CCleaner 5.62

JeromeC

  • CàA
  • Messages: 23435
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #528 le: 10 novembre 2019 à 14:13 »
Wé 50% d'erreur c'est pas terrible en effet...
Parce que c'était lui, parce que c'était moi.

modesti

  • CàA
  • Messages: 16011
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [QuChemPedIA] le topic de préparation
« Réponse #529 le: 12 novembre 2019 à 19:00 »
Petite info: Le fait de faire 1 QuChemPedIA t2 et 1 Cosmology docker (4 CPU VM) en // double quasiment le temps de calcul des Cosmo. Elles passent de 5 minutes à 9-10 minutes.
Sachant qu'il y a en plus une RNA (1 CPU VM) et 3 tâches NCI (WUprop, QCN, Radioactive) - le tout sur 6 cœurs et sous Linux

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

franky82

  • Messages: 691
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #530 le: 12 novembre 2019 à 19:41 »
Je n'arrive à finir aucune UT depuis quelques jours : elles sont interminables (2 jours passés) et si je dois redémarrer mon ordi (mise à jour ou coupure de courant), elles repartent avec un poucentage plus bas !  :/
(je ne sais pas si c'est lié aux autres projets CPU que je crunche : WCG avec le nouveau ARP ou Help Stop TB - Tbrada - Goofyx NCI...)
Mon site : Photo de bière - Parrainage Shadow
 

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #531 le: 13 novembre 2019 à 20:40 »
Je n'arrive à finir aucune UT depuis quelques jours : elles sont interminables (2 jours passés) et si je dois redémarrer mon ordi (mise à jour ou coupure de courant), elles repartent avec un poucentage plus bas !  :/
(je ne sais pas si c'est lié aux autres projets CPU que je crunche : WCG avec le nouveau ARP ou Help Stop TB - Tbrada - Goofyx NCI...)

Je ne saurais pas dire, il y a vraiment des calculs très longs de temps en temps...

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #532 le: 13 novembre 2019 à 20:57 »
 :hello:

Notre premier article scientifique en lien avec le projet est disponible en Open Access et les données en Open Data.
"Dataset’s chemical diversity limits the generalizability of machine learning predictions"
https://jcheminf.biomedcentral.com/articles/10.1186/s13321-019-0391-2?fbclid=IwAR0LtM098-vkv0rJnoSV8Yo5ZbuFu4HXpZKsn3ekTTtA4rM0Sb5_HMSSSwI

Avec une traduction du message de Thomas Cauchy qui explique l'article et les recherches à venir
Citer
Bonjour,

Je suis le chimiste de ce projet. La publication mentionnée par Benoit Da Mota a été écrite lors du lancement du projet boinc. Mais je peux extraire quelques phrases de cet article pour montrer ce que nous avons en tête.. :

"Résumé : L'ensemble de données QM9 est devenu la référence en matière de prédiction par Apprentissage Automatique (ML) pour de nombreuses propriétés chimiques. QM9 est basé sur la GDB, qui est une exploration combinatoire de l'espace chimique. Les prédictions à l'aide du ML ont récemment été publiées avec une précision comparable à celle des calculs de la théorie fonctionnelle de la densité. De tels modèles nécessitent d'être reproduits et généralisés sur des données réelles. PC9, un nouvel ensemble de données équivalents à QM9 (seulement H, C, N, O et F et jusqu'à 9 atomes "lourds") issu du projet PubChemQC est présenté dans cet article. Une étude statistique des distances de liaison et des fonctions chimiques montre que ce nouvel ensemble de données couvre une plus grande diversité chimique. Une régression Kernel Ridge, une régression Elastic Net et le modèle de réseau neuronal fourni par SchNet ont été utilisés sur les deux ensembles de données. La précision globale de la prédiction de l'énergie est plus élevée pour le sous-ensemble QM9. Cependant, un modèle entraîné sur PC9 montre une plus grande capacité à prédire les énergies des autres ensembles de données."

Le jeu de données QM9 contient environ 130 000 petites molécules, alors que PC9 en contient 119 000 (mais a été extrait d'un autre type de calculs). Le problème est que les résultats complets de la QM9 ne sont pas accessibles au public. Ils ont extrait certains résultats de calculs de mécanique quantique coûteux et ont détruit le fichier de données. Nous ne sommes pas satisfaits de PC9 qui est une simple démonstration qu'une plus grande diversité est nécessaire.

Pour le moment, le projet Boinc vise à recalculer les molécules intéressantes de QM9 et PC9 avec le même niveau de calcul cette fois. Tous les résultats seront disponibles sur la base de documents QuChemPedia https://quchempedia.univ-angers.fr lorsque cette plate-forme sera un peu plus robuste (début 2020), à l'image de notre outil de contrôle qualité tel que développé par mon collègue.

Nous ne sommes pas encore entièrement satisfaits de NWChem. Avec le même projet Boinc, Benoit Da Mota et moi-même, utilisons Gaussian (propriétaire) qui est très efficace. Mais Nwchem est open source....
Nous avons calculé environ 130 k sur 200 k grâce à votre aide !
Pour décembre, nous espérons proposer à la communauté de calculer de nouvelles molécules qui n'existent peut-être même pas et ne sont pas stables afin d'aider l'outil d'apprentissage machine à mieux généraliser. Ces nouvelles molécules seront générées par une procédure d'apprentissage automatique (IA).

Si vous avez des questions....
Amicalement
Thomas

JeromeC

  • CàA
  • Messages: 23435
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #533 le: 13 novembre 2019 à 23:47 »
Tu veux dire ce que j'ai (un peu aidé par deepl) traduit le 04/11 à 23h59 ci-dessus ? :)

En revanche pour l'article complet... il a l'air très joli mais merci, non, sans façon :D

Et encore bravo !
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #534 le: 14 novembre 2019 à 07:43 »
Tu veux dire ce que j'ai (un peu aidé par deepl) traduit le 04/11 à 23h59 ci-dessus ? :)

En revanche pour l'article complet... il a l'air très joli mais merci, non, sans façon :D

Et encore bravo !

Je me suis permis d'améliorer la traduction   :lol: :smak:

JeromeC

  • CàA
  • Messages: 23435
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #535 le: 14 novembre 2019 à 10:49 »
Anéfé :) :jap:
Parce que c'était lui, parce que c'était moi.

franky82

  • Messages: 691
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #536 le: 15 novembre 2019 à 13:56 »
Pas une seule UT de finie depuis 8 jours : deadline atteinte et dépassée sur toutes les tâches...
Longueur interminable : bloqué à 99,8 ou 99,9 % et si je redémarre l'ordi (donc Boinc), recommence à 70 %...
(même problème sur plusieurs ordinateurs Windows)
J'arrête le crunch sur ce projet, pour l'instant, désolé !  :/
Mon site : Photo de bière - Parrainage Shadow
 

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #537 le: 16 novembre 2019 à 10:21 »
il semble que VirtualBox ne rend pas correctement la main à la fin de l'exécution. Notre calcul est terminé mais la VM ne s'arrête pas... Les UT > 24h méritent d'être vérifiée pour les abandonner si l'utilisation CPU est faible.

JeromeC

  • CàA
  • Messages: 23435
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #538 le: 16 novembre 2019 à 19:17 »
J'avais celle ci

Citer
Sam 16 nov 19:13:41 2019 | QuChemPedIA@home | task dsgdb9nsd_nwchem,bath03,011274982,nwchem,1572558056_0 aborted by user

qui prenait 1% de CPU, je l'avais déjà constaté hier mais j'avais laissé coulé, avec de 2 jours de calcul et même pas 90% affiché... donc je l'ai annulé (avec bcp de tristesse)

Celle la

Citer
Sam 16 nov 19:13:27 2019 | QuChemPedIA@home | task dsgdb9nsd_nwchem,bath03,012770060,nwchem,1572558099_0 resumed by user

a plus de un jour et 58% affiché mais elle consomme du CPU... alors je la laisse vivre.

(comme j'en avais 2 j'ai dû les suspendre à tour de rôle pour voir laquelle correspondait à quel processus...)
Parce que c'était lui, parce que c'était moi.

erik

  • Messages: 2056
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #539 le: 01 décembre 2019 à 04:27 »
Ah ben il n'y a plus d'UT.
   

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #540 le: 01 décembre 2019 à 18:34 »
Oui, on est en train de faire des choix pour la seconde vague. J'espère qu'on aura de nouveaux jobs dans la semaine  :hyperbon:

JeromeC

  • CàA
  • Messages: 23435
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #541 le: 01 décembre 2019 à 22:30 »
Il ignore royalement mon app_config :

<app_config>
<project_max_concurrent>1</project_max_concurrent>
</app_config>

Citer
30-Nov-2019 13:07:04 [QuChemPedIA@home] Found app_config.xml

Et j'ai 2 tâches qui tournent en parallèle - et pas en exécution prioritaire...

 :cavachier:

Mmmm j'ai fait "relire les fichiers de config"... et là il en a arrêté une... bien... et j'ai plus que 6 tâches (avec autres projets) qui tournent sur les 8 slots....

 :??:
« Modifié: 01 décembre 2019 à 22:33 par JeromeC »
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #542 le: 02 décembre 2019 à 18:00 »
Un petit batch de jobs pour les gourmands  :hyperbon:

damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #543 le: 02 décembre 2019 à 20:39 »
Un petit batch de jobs pour les gourmands  :hyperbon:

En fait, vous êtes des morfales !  :eek:

titidestroy

  • Messages: 528
  • Boinc'eur Respectable
  • ****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #544 le: 02 décembre 2019 à 22:34 »
Ma première UT en cours de calcul  :love:


[AF] fansyl

  • Messages: 1966
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #545 le: 02 décembre 2019 à 22:35 »
Je suis arrivé trop tard pour ma part...
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/8Go/GTX1050 - Q9550/4Go/GT1030 - 3xAndroidBox S912


damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #546 le: 03 décembre 2019 à 08:07 »
Si les tests sont concluants je vais pouvoir charger en WU  :hyperbon: :hyperbon: :hyperbon:

titidestroy

  • Messages: 528
  • Boinc'eur Respectable
  • ****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #547 le: 04 décembre 2019 à 15:24 »
J'ai reçu 23 UTs en 2 jours mais seules 3 sont validées. Les autres ont toutes été mises en pause car la VM n'était pas "manageable" et elles reprendront plus tard. Il y a quelque choses à faire pour qu'elles redémarrent ?

Je fait tourner du ODLK1 en parallèle.


damotbe

  • Messages: 396
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #548 le: 04 décembre 2019 à 22:24 »
On a remarqué un truc : si la VM est mise en pause, il y a des chances qu'elle n'avance plus jamais... De ce que j'ai pu voir c'est très dépendant de la personne qui calcule.

De mon côté, j'ai résolu le problème en ne calculant que sur un projet à fois (sauf les projets cpu non intensif) et en cochant la case "laisser les tâches processeurs non graphiques en mémoire lorsqu'elles sont suspendues" (dans préférences de calcul, onglet stockage et mémoire). Et bien sûr, la machine n'ai jamais éteinte ou en veille et je ne suspend jamais BOINC...   :pt1cable:

franky82

  • Messages: 691
  • Boinc'eur Respectable
  • ****
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #549 le: 04 décembre 2019 à 22:33 »
Oui, d'habitude, je laisse tourner mes ordis 24/24 et les UT se calculent plus ou moins vite selon les ordis (pas forcément le plus puissant plus vite...)
mais les coupures de courant (imprévisibles) font souvent repartir le calcul à 0 !
Mon site : Photo de bière - Parrainage Shadow