Le Forum de l'Alliance Francophone

Boinc et les projets distribués => Annonces sur Boinc et les projets => Discussion démarrée par: damotbe le 04 avril 2018 à 14:26

Titre: [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 avril 2018 à 14:26
Bonjour à tous.  :hello:

Infos utiles.
Pour les plateformes Mac et Windows il est nécessaire d'installer Virtualbox : https://www.virtualbox.org/ (https://www.virtualbox.org/)


Statut : actif
URL du projet : https://quchempedia.univ-angers.fr/athome/ (https://quchempedia.univ-angers.fr/athome/)
Application disponible : https://quchempedia.univ-angers.fr/athome/apps.php (https://quchempedia.univ-angers.fr/athome/apps.php)
État du serveur : https://quchempedia.univ-angers.fr/athome/server_status.php (https://quchempedia.univ-angers.fr/athome/server_status.php)
L'alliance francophone : https://quchempedia.univ-angers.fr/athome/team_display.php?teamid=4 (https://quchempedia.univ-angers.fr/athome/team_display.php?teamid=4)
Classement mondial de L'af : https://www.boincstats.com/stats/185/team/list/ (https://www.boincstats.com/stats/185/team/list/)

Je ne sais pas trop où mettre ce sujet. Je vais vous parler ici du projet que j'essaye de mettre en place à l'Université d'Angers : QuChemPedIA et de sa partie Boinc.

TL;DR : Clean Energy Project + Intelligence Artificielle + plateforme ouverte

QuChemPedIA : Quantum Chemistry encycloPEDia + Intelligence Artificielle

Citer
Présentation : Ce projet s’inscrit dans les domaines des sciences des données et de l’intelligence artificielle. L’objectif est de révolutionner le domaine de la chimie quantique et informatique moléculaire. La chimie moléculaire se définit comme l’étude d’entités discrètes (molécules) et correspond à la communauté la plus large de chimistes. Des centaines de millions de molécules sont connues, contenant généralement moins d’une centaine d’atomes et moins d’un millier d’électrons. Les propriétés chimiques de ces molécules dépendent de la position des électrons qui peut être calculée de manière approchée par des méthodes issues de la mécanique quantique. Les différents paramètres de calcul définissent la qualité de la méthode et son coût en temps (de quelques heures à quelques milliers d’heures par molécule). Avec la démocratisation de la puissance de calcul, la chimie informatique est devenue une partie essentielle de la recherche en chimie.
Aujourd’hui, il est impossible pour un humain de prendre en compte les résultats, même restreints aux données les plus importantes, pour les millions de molécules connues. Pour les chimistes, l’ambition de ce projet est de changer radicalement d’approche en utilisant des méthodes d’intelligence artificielle et de fouille de données afin d’explorer plus efficacement l’immense combinatoire de l’espace moléculaire.
Le projet se situe donc à la frontière entre l’apprentissage artificiel quand il s’agit de prédire les propriétés d’une molécule et l’optimisation combinatoire quand nous cherchons à proposer des nouvelles molécules maximisant un ou plusieurs objectifs. La méthodologie envisagée, qui allie apprentissage profond (deep learning) et programmation par contraintes pour générer des molécules, est inédite à notre connaissance et offre des opportunités remarquables. Associer une fonction de coût tout en prévoyant les voies de synthèse permet par exemple de proposer des molécules moins coûteuses pour l’environnement, base de la chimie verte de demain. La recherche de nouveaux matériaux photovoltaïques est d’ailleurs la première des applications que nous envisageons.

Dans un premier temps, le projet Boinc permettra d'alimenter les procédures d'intelligence artificielle en données. Les volontaires calculeront des molécules pour lesquelles il n'existe pas de résultats publiques en chimie quantique. Il est très probable que dans un second temps, les volontaires soient sollicités pour réaliser les calculs nécessaires aux procédures d'exploration de l'espace moléculaire (intelligence artificielle).

Avancement du projet :
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 avril 2018 à 14:26
13 Novembre 2019:

Notre premier article scientifique en lien avec le projet est disponible en Open Access et les données en Open Data.
"Dataset’s chemical diversity limits the generalizability of machine learning predictions"
https://jcheminf.biomedcentral.com/articles/10.1186/s13321-019-0391-2?fbclid=IwAR0LtM098-vkv0rJnoSV8Yo5ZbuFu4HXpZKsn3ekTTtA4rM0Sb5_HMSSSwI (https://jcheminf.biomedcentral.com/articles/10.1186/s13321-019-0391-2?fbclid=IwAR0LtM098-vkv0rJnoSV8Yo5ZbuFu4HXpZKsn3ekTTtA4rM0Sb5_HMSSSwI)

Avec une traduction du message de Thomas Cauchy qui explique l'article et les recherches à venir
Citer
Bonjour,

Je suis le chimiste de ce projet. La publication mentionnée par Benoit Da Mota a été écrite lors du lancement du projet boinc. Mais je peux extraire quelques phrases de cet article pour montrer ce que nous avons en tête.. :

"Résumé : L'ensemble de données QM9 est devenu la référence en matière de prédiction par Apprentissage Automatique (ML) pour de nombreuses propriétés chimiques. QM9 est basé sur la GDB, qui est une exploration combinatoire de l'espace chimique. Les prédictions à l'aide du ML ont récemment été publiées avec une précision comparable à celle des calculs de la théorie fonctionnelle de la densité. De tels modèles nécessitent d'être reproduits et généralisés sur des données réelles. PC9, un nouvel ensemble de données équivalents à QM9 (seulement H, C, N, O et F et jusqu'à 9 atomes "lourds") issu du projet PubChemQC est présenté dans cet article. Une étude statistique des distances de liaison et des fonctions chimiques montre que ce nouvel ensemble de données couvre une plus grande diversité chimique. Une régression Kernel Ridge, une régression Elastic Net et le modèle de réseau neuronal fourni par SchNet ont été utilisés sur les deux ensembles de données. La précision globale de la prédiction de l'énergie est plus élevée pour le sous-ensemble QM9. Cependant, un modèle entraîné sur PC9 montre une plus grande capacité à prédire les énergies des autres ensembles de données."

Le jeu de données QM9 contient environ 130 000 petites molécules, alors que PC9 en contient 119 000 (mais a été extrait d'un autre type de calculs). Le problème est que les résultats complets de la QM9 ne sont pas accessibles au public. Ils ont extrait certains résultats de calculs de mécanique quantique coûteux et ont détruit le fichier de données. Nous ne sommes pas satisfaits de PC9 qui est une simple démonstration qu'une plus grande diversité est nécessaire.

Pour le moment, le projet Boinc vise à recalculer les molécules intéressantes de QM9 et PC9 avec le même niveau de calcul cette fois. Tous les résultats seront disponibles sur la base de documents QuChemPedia https://quchempedia.univ-angers.fr lorsque cette plate-forme sera un peu plus robuste (début 2020), à l'image de notre outil de contrôle qualité tel que développé par mon collègue.

Nous ne sommes pas encore entièrement satisfaits de NWChem. Avec le même projet Boinc, Benoit Da Mota et moi-même, utilisons Gaussian (propriétaire) qui est très efficace. Mais Nwchem est open source....
Nous avons calculé environ 130 k sur 200 k grâce à votre aide !
Pour décembre, nous espérons proposer à la communauté de calculer de nouvelles molécules qui n'existent peut-être même pas et ne sont pas stables afin d'aider l'outil d'apprentissage machine à mieux généraliser. Ces nouvelles molécules seront générées par une procédure d'apprentissage automatique (IA).

Si vous avez des questions....
Amicalement
Thomas
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 avril 2018 à 14:26
réservé
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 avril 2018 à 15:43
:bounce:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 04 avril 2018 à 15:46
 :plusun:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 04 avril 2018 à 15:55
ATA prêt :chefouichef:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 04 avril 2018 à 16:35
OK damotbe.
Si je peux aider à faire des essais... N'hésite pas.
Tiens-nous au courant.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 04 avril 2018 à 16:53
Il serait bien de développer le projet aussi pour android  :kookoo:
Sinon je serais dispo  :hyperbon: :hyperbon: :hyperbon:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Ceclo le 04 avril 2018 à 17:13
Partant pour mettre quelques thread à dispo! Le projet me semble très intéressant!  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Antares le 04 avril 2018 à 17:58
Moi aussi, mais sous windows seulement...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: ousermaatre le 04 avril 2018 à 18:10
 :hello: damotbe

Génial, un beau projet francophone!!!!
Tu es bien dans la bonne partie du forum pour ton topic.

Si tu as besoin d'aide ou de place pour inscrire tes informations, on est là.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 avril 2018 à 18:56
Il serait bien de développer le projet aussi pour android  :kookoo:
Sinon je serais dispo  :hyperbon: :hyperbon: :hyperbon:

Si quelqu'un sait comment s'y prendre et peut nous aider, carrément ! (comme pour Windows et Mac)
Pour l'instant, on va surtout tourner avec Linux et les distros compatibles.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Antares le 04 avril 2018 à 19:08
A mettre sur le portail...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: overclockman le 04 avril 2018 à 19:23
Voila une bonne raison de plus de ré installer linux.  :hyperbon:

Sujet intéressant me tarde de voir ça.  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 avril 2018 à 20:10
Si quelqu'un sait comment s'y prendre et peut nous aider, carrément ! (comme pour Windows et Mac)
Pour l'instant, on va surtout tourner avec Linux et les distros compatibles.
Pour le multi-OS y'a le projet à base de VM/VB (j'espère que toTow va pas nous lire !!) mais bon ça couvre pas Android.

Je dis ça parce que au moins ça permettrait plus facilement d'avoir une version Mac, parce que sinon... l'eau va couler sous les ponts :/
(je suppose que la priorité n°2 sera une version windows)

Seb (qui ne vient plus trop nous voir) serait certainement de bon conseil sur le développement d'un projet boinc, sinon on avait Steiner mais lui ça fait des années qu'il ne vient plus (ni ne crunche).
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 04 avril 2018 à 21:10
(j'espère que toTow va pas nous lire !!)
:warf:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 05 avril 2018 à 01:01
Vu ce qu'ils proposent sur leur site, j'ai peur que la VM sous Linux pour tout le monde soit la situation la plus simple, à moins d'avoir des spécialistes pour développer sous Windows et sous Mac ... leur sources m'ont pas l'air très compatible avec autre chose qu'un bon vieux GCC ... :/

A moins que ce soit plus simple que prévu et qu'on puisse passer par http://www.mingw.org/ ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 avril 2018 à 07:15
Pour l'avoir déjà compilé, même sous Linux c'est assez pénible... Mais la doc indique Windows et Mac
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 05 avril 2018 à 09:05
Super un nouveau projet à connotation AF

Je vais l'attendre avec impatience
Bon courage et bonne chance pour la mise en place

Tu fais ça dans le cadre de ton boulot ou de façon bénévole ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 avril 2018 à 09:10
Merci pour vos encouragements.

C'est pour le boulot, je suis enseignant-chercheur en Informatique et je monte le projet avec un enseignant-chercheur en Chimie.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 avril 2018 à 11:44
On vous attend de pied ferme ! :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 05 avril 2018 à 12:25
Manque le plus important : les badges :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Spica le 05 avril 2018 à 14:41
Merci pour vos encouragements.

C'est pour le boulot, je suis enseignant-chercheur en Informatique et je monte le projet avec un enseignant-chercheur en Chimie.
super idée, super projet... Je parie que je le connais l'enseignant-chercheur en Chimie....
Vu que je deviens un fantome j'espère quand même y participer...Celà va peut-etre meme m'aider dans mes activités professionnelles....
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 avril 2018 à 16:55
:kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 05 avril 2018 à 17:58
:kookoo:
:kookoo: :kookoo:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 avril 2018 à 19:07
super idée, super projet... Je parie que je le connais l'enseignant-chercheur en Chimie....
Vu que je deviens un fantome j'espère quand même y participer...Celà va peut-etre meme m'aider dans mes activités professionnelles....

Tu attises ma curiosité !  :siflotte:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 05 avril 2018 à 19:40
Vu que je deviens un fantome j'espère quand même y participer...
:ouser:  :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 05 avril 2018 à 21:41
Damotbe, est-ce que tu as une idée de la date de démarrage de ton projet ? Plutôt dans 1 ou 2 semaines ou plutôt dans 1 ou 2 mois ?
C'est pour savoir si j'occupe mes threads qui vont se libérer avec de longs et fastidieux calculs, ou si je lance des calculs plus courts (c'est pas du BOINC, c'est pour mes recherches sur les suites aliquotes : www.aliquotes.com (http://www.aliquotes.com)).
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 avril 2018 à 21:47
Damotbe, est-ce que tu as une idée de la date de démarrage de ton projet ? Plutôt dans 1 ou 2 semaines ou plutôt dans 1 ou 2 mois ?
C'est pour savoir si j'occupe mes threads qui vont se libérer avec de longs et fastidieux calculs, ou si je lance des calculs plus courts (c'est pas du BOINC, c'est pour mes recherches sur les suites aliquotes : www.aliquotes.com (http://www.aliquotes.com)).

On est plus de l'ordre de 6-9 mois pour réaliser des vrais calculs. Comme je n'ai jamais monté de projet Boinc, il va me falloir du temps pour comprendre la mécanique... J'ai lu la doc et un bon étudiant a essayé de faire une démo. Il a dit, je cite :  ":grmblbl: !"

J'ai surtout ouvert le topic pour parler de mes avancées et problèmes. Je me dis qu'ici certains ont peut-être des idées et de l'expérience.

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 avril 2018 à 23:14
Ben pour l'idée et l'expérience je parlais plus haut de Seb (:??:) et Steiner (:().

Y'a https://boinc.berkeley.edu/trac/wiki/EmailLists
et donc https://groups.google.com/a/ssl.berkeley.edu/forum/#!forum/boinc_projects
visiblement ils ont migré il y a peu sous google groups, pour l'instant y'a pas bcp de mouvement...
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 05 avril 2018 à 23:21
On est plus de l'ordre de 6-9 mois pour réaliser des vrais calculs.

OK, damotbe, merci pour ces précisions.
Je mets donc mes threads à de longs autres calculs à partir de ce weekend.
J'attendrai que tu annonces le départ de ton projet.

Bon courage en tout cas, ça a l'air hyper intéressant.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 15 avril 2018 à 12:44
damotbe, j'ai encore une question.
Si ton projet devait fonctionner sur GPU, ce sera plutôt en half précision, en simple ou en double ?
On parle en effet beaucoup de half précision pour les projets qui font tourner des IA.
A moins que je n'aie rien pigé !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Prof le 15 avril 2018 à 15:01
Salut damotbe!

Je ne te serai pas très utile au développement sur Mac mais si tu dois faire des tests, je suis là!!
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 16 avril 2018 à 08:05
damotbe, j'ai encore une question.
Si ton projet devait fonctionner sur GPU, ce sera plutôt en half précision, en simple ou en double ?
On parle en effet beaucoup de half précision pour les projets qui font tourner des IA.
A moins que je n'aie rien pigé !

En première phase, on n'a pas de code GPU. Pour l'IA, la partie réseau de neurones doit fonctionner en mixed-precision (half+simple). Les GPU volta devraient bien faire l'affaire ! Reste à développer le code !  :miam:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 avril 2018 à 18:27
Je me suis fadé l'article wikipédia sur les réseaux de neurone : super intéressant, mais j'ai dû en comprendre moins de 50% :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 16 avril 2018 à 19:10
OK, merci pour la réponse.
Reste aussi à attendre que la GPU Volta sorte !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 16 avril 2018 à 20:30
Il n'y en aura pas pour le grand public ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 16 avril 2018 à 21:30
La Titan V est déjà sortie  :siflotte: :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 16 avril 2018 à 22:01
Oui, mais à 3000 € !!!
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Xe120 le 17 avril 2018 à 06:34
Je me suis fadé l'article wikipédia sur les réseaux de neurone : super intéressant, mais j'ai dû en comprendre moins de 50% :D



 :smak:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 17 avril 2018 à 08:53
Merci Xe120 :jap:
C'est super-intéressant.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Ceclo le 17 avril 2018 à 14:04
 :+1:
Merci Xe120 :jap:
C'est super-intéressant.
Merci! :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Scrat65 le 17 avril 2018 à 16:31
Merci à toi, Xe120.  :jap:
Une vidéo à recommander pour commencer à comprendre ce que sont les réseaux de neurones.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 17 avril 2018 à 19:06
Du coup dans le futur ca peu servir à quoi concrètement? Car perso je ne vois pas l’intérêt qu'un robot réfléchisse à ma place ou même qu'il prenne des décision à ma place. Je tiens trop à mon libre arbitre...
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 avril 2018 à 19:57
Du coup dans le futur ca peu servir à quoi concrètement? Car perso je ne vois pas l’intérêt qu'un robot réfléchisse à ma place ou même qu'il prenne des décision à ma place. Je tiens trop à mon libre arbitre...

Dans le cadre de la recherche scientifique, en prenant l'exemple de mon projet, c'est être capable de tenir des raisonnements inaccessibles aux humains. Pour QuChemPedIA, c'est prendre en compte des millions de molécules et en déduire des propriétés chimiques, puis pour proposer des nouvelles molécules avec des propriétés intéressantes. C'est également assister les chercheurs pour choisir les meilleurs paramètres et partir plus proche d'une solution.
Quand on parle d'inaccessibilité aux humains, voire à l'humanité, il faut voir la puissance de calcul phénoménale d'une simple carte graphique :
- l'Humanité, on va arrondir à 10 milliards d'humains, à raison d'un calcul par seconde, fait 10 000 000 000 Opérations/sec (en étant très optimiste)
- Une carte graphique Tesla V100 à 125 TFLOPS (deep learning) , c'est 125 000 000 000 000 Opérations/sec (soit 12 500 X plus que l'Humanité toute entière)
=> en arithmétique, mathématiques, algèbre linéaire, deep learning ... on ne peut pas lutter.
On pourrait faire le même comparatif en terme de stockage...

Si je sors du projet et que je parle de façon plus générale :  un seul cerveau humain peut réaliser de nombreuses tâches. Alors qu'il faut toute notre attention pour faire une simple opération arithmétique, une fraction de seconde suffit à détecter un mouvement, essayer de deviner la forme et réaliser une adaptation motrice adaptée. Et cela pour très peu d'énergie ! Les machines sont très compétitives aussi, mais de suite, le fossé humanité vs machine n'est pas aussi grand. L'humain apprend avec moins d'exemples et j'en passe d'autres... L'IA (la discipline) a encore beaucoup de chemin à parcourir !

En résumé, on a de la puissance de calcul, de la mémoire et des données et il faut trouver un moyen de créer automatiquement de la connaissance, des raisonnements, des comportements dits intelligents. C'est théoriquement (mathématiques et informatique) passionnant, techniquement exigeant mais il reste des questions philosophique auxquelles nous essayons d'apporter des réponses (on peut voir la philosophie comme une discipline qui apporte des tentatives de réponses à des problèmes que la science n'a pas - encore - résolue). Au-delà des artefacts technologiques et des résultats obtenus, on peut se poser des questions sur l'intelligence, la conscience et d'autres concepts. Il faut d'ailleurs noter que d'autres disciplines scientifiques essayent d'apporter des réponses (biologie, neurosciences, psychologie, etc.). L'approche informatique (au sens anglais de Computer Science) est fonctionnelle, on essaye de reproduire la fonction, peu importe l'implémentation. Si on arrive à simuler une conscience un jour, les implications philosophiques sont énormes... et vertigineuses ! Les applications tout autant !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 17 avril 2018 à 22:44
La Titan V est déjà sortie  :siflotte: :siflotte:
C'est pas vraiment du grand public vu le tarif ...

Du coup dans le futur ca peu servir à quoi concrètement? Car perso je ne vois pas l’intérêt qu'un robot réfléchisse à ma place ou même qu'il prenne des décision à ma place. Je tiens trop à mon libre arbitre...
Au boulot, y'a un stagiaire qui a fait un Chatbot ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 18 avril 2018 à 01:12
Merci damotbe pour ces explications.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 18 avril 2018 à 17:21
merci damotbe. J'y voit plus clair maintenant. Je participerai à ton projet.  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 avril 2018 à 19:13
Je précise, que je ne cherche pas à reproduire une quelconque conscience et qu'il n'y a aucune chance que ça arrive par accident !

Ce que fait la méthode utilisée, c'est absorber des données en entrée et essayer de prédire des résultats que l'on connait déjà. C'est donc uniquement trouver une fonction mathématique qui transforme les entrées en sorties le mieux possible. Puis, une fois qu'on est assez bon sur des données qu'on connait, on peut essayer de prédire des données pour lesquelles on ne connait pas le résultat en utilisant cette fonction. La phase 2 consiste donc à utiliser cette fonction pour évaluer des molécules dont on ne connait pas les propriétés. Pas de quoi créer un Terminator ;)

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 18 avril 2018 à 19:19
C'est très clair !  :jap:

De tout cœur avec toi, et je participerai bien évidemment aux tests si accessible avec des machines Intel, AMD, ARM sous W7, Ubuntu et Android.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 18 avril 2018 à 20:29
J'en serai aussi si mon matériel le permettra !
Cela sera vraiment très passionnant !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 18 avril 2018 à 20:44
Très bien la vidéo, mais le ton de voix du mec est horripilant ! :D

Et très clair aussi les explications de damotbe, ça fait envie ! (heu je veux dire pas skynet, ton projet quoi ;) )
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes>Jip] Elgrande71 le 23 avril 2018 à 10:27
Bon courage damotbe  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Sébastien le 02 mai 2018 à 07:43
J'ai une tenté une compilation de NWChem sous Windows: https://statseb.boinc-af.org/dl/NWChem.zip

J'ai fait une compilation complète de la version 6.8. Utilisez-vous tous les modules? Avez-vous fait des modifications dans le code source?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 mai 2018 à 07:58
J'ai une tenté une compilation de NWChem sous Windows: https://statseb.boinc-af.org/dl/NWChem.zip

J'ai fait une compilation complète de la version 6.8. Utilisez-vous tous les modules? Avez-vous fait des modifications dans le code source?

Merci Seb ! Actuellement, nous faisons des tests sans modules et sans modification du code source. Nous pensions "juste wrapper" NWChem sans trop y toucher. Le code étant surtout en Fortran, je ne sais pas trop comment m'y prendre pour intégrer l'API Boinc dedans...
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 02 mai 2018 à 10:03
Le code étant surtout en Fortran

C'est à ça qu'on reconnait les vieux barbons universitaires :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 mai 2018 à 14:26
C'est dans les vieux pots... ;)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 novembre 2018 à 10:46
Longue période d'absence sur le forum... Beaucoup de travail sur la partie non Boinc du projet, ce qui est le seul moyen de trouver des financements à terme. Nous sommes deux chercheurs permanents et nous dépendons beaucoup des financements et des stagiaires.

Pour l'aspect scientifique :

Quelques infos en vrac sur la partie Boinc :
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 novembre 2018 à 13:01
:bounce:

Super de te revoir parmi nous ! ce sont des nouvelles TRÈS positives à mon sens, ton projet avance, et bien !
Surtout continue de venir nous tenir au courant régulièrement, nous serons là pour te supporter !

Après pour ta première question sur la phase 1 je pense que oui tu trouveras toujours des crunchers (gros ou pas gros) près à s'impliquer "en mode béta", dans la mesures où tu précises *clairement* les prérequis du projet en gros en gras en haut du site et dans les communications que tu ferais pour le promouvoir sur les forums boinc. J'en ferai partie, si tu as un client Mac (en VM/VB par exemple ;) ) avec ma vieille machine dotée de 16 Go (exprès pour boinc  :gniak:), j'ai fait pareil avec les bétas LHC, etc.

Et pour la phase 2 saches que "patience et longueur de temps font plus que force ni que rage", je serai là aussi :)

:kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 01 novembre 2018 à 13:07
Merci damotbe pour ces informations !

Je suis d'accord avec JeromeC, si tu précises bien les besoins, il y a toujours des gens qui auront la machine pour et qui seront hyper contents de faire partie des rares qui peuvent aider.
J'en serai si d'ici là, je devais réussir à m'équiper.

Deux remarques :

  • sur la phase 1 (chimie informatique), on a identifié plusieurs codes donc la puissance de calcul est le facteur limitant : le calcul DFT (logiciel nwChem) et le calcul du PES (potentiel électrostatique avec un code maison). Le point négatif est que ces codes requièrent beaucoup de RAM (> 4Go/cœur idéalement). est-ce vraiment réaliste de demander l'aide des crunchers ?

Oui en effet, 4 Go de RAM par coeur, cela fait beaucoup !
C'est bien 4 Go de RAM par coeur et donc 2 Go par Thread ?
Sur ma future machine que je compte me procurer dans un an, je prévoyais 2 Go par Thread. Avec 32C/64T, cela fait 128 Go de RAM nécessaire.
Certains projets comme Constellation, si certains s'en rappellent avaient déjà besoin de plus de 1 Go de RAM par Thread.

  • sur la phase 2 (intelligence artificielle), j'ai une bonne idée de ce dont on aura besoin, mais nos travaux ne sont pas assez avancés pour envisager cette phase avant 2-3 ans si tout se passe bien (la durée d'une thèse).

Waouh !
2-3 ans !
Et moi qui attendais ce premier projet qui devait utiliser la partie "Half" de ma puce pour cet automne !

Patience donc...

Et bon courage pour ce gros travail qui t'attend !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 novembre 2018 à 13:12
A mon avis il voulait dire "par tâche" (à moins d'envisager des tâches mt ??), et donc par thread.

Attendons la réponse du chef :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 01 novembre 2018 à 13:49
Prévois une options pour ne cruncher que sur n threads. Ça permettra de participer pour pas mal de monde sans gréver les perf de sa machine.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: GuL le 01 novembre 2018 à 15:21
Le point négatif est que ces codes requièrent beaucoup de RAM (> 4Go/cœur idéalement). est-ce vraiment réaliste de demander l'aide des crunchers ?
:hello:
Merci pour ces nouvelles. J'ai 24 Go sur une machine linux qui n'attendent que toi. J'étais l'un des des rares à pouvoir cruncher sur The Lattice project...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 novembre 2018 à 16:11
Pour être plus précis, c'est très dépendant de la molécule et des paramètres de calcul.
En gros, Pour DFT je dépasse parfois les 8Go pour une exécution. Pour une machine grand public, c'est beaucoup.
En partant sur un machine 2C/4T, il faut 4Go/cœur ou 2Go/thread.
Pour le code PES, je n'ai pas encore réfléchi à la parallélisation. Actuellement, je peux monter à 10Go pour un seul thread... J'ai également vu passé un papier qui semble faire le même calcul bien plus vite, mais je n'ai pas trouvé de code associé et comme ce n'est pas la priorité du projet pour le moment...

Autre limitation, le temps de calcul pour DFT. Nos premiers tests ont montré des temps pouvant atteindre plusieurs jours sur plusieurs cœurs.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 01 novembre 2018 à 16:38
Pourquoi se prendre la tete ainsi damotbe! Lance des tests sur Boinc tu verras bien les retours... Non?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 novembre 2018 à 16:47
Pourquoi se prendre la tete ainsi damotbe! Lance des tests sur Boinc tu verras bien les retours... Non?

C'est ce que je compte faire, mais avec très peu d'UT.
Reste un défi de taille, trouver le temps de déployer le code serveur et adapté les codes pour Boinc.
La partie serveur est loin d'être une mince affaire... Déployer le code de démo, j'ai fait, c'est facile.
Produire un vrai projet, c'est pas simple et la technique VM virtualbox est tentante !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 01 novembre 2018 à 16:59
Hello !

Envisageable de demander la coopération des universités qui font déjà tourner le même type de calculs ?

GPUGRID, TN Grid, LHC, Leiden, MindModeling, ...

Pour la partie mise en place d'un projet BOINC, pas pour le fond de la recherche ;)

Question ouverte, je n'y connais strictement rien.

 :hello: :jap: :kookoo:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 novembre 2018 à 19:36
Ils ne feront pas le travail à notre place, donc le pré-requis c'est d'avoir du temps ou de l'argent pour payer quelqu'un.
Ensuite oui, je pense qu'en cas de blocage on pourra demander de l'aide.
De toute façon à la fin, il faudra qu'on ait la maitrise totale du bouzin  :pt1cable:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nafrayou le 02 novembre 2018 à 01:06
Bonjour tout le monde ( oui oui c est déjà le matin ! )

damotbe j en suis , pour le petit coup de pouce de ton projet j ai une machine de 6C / 12T  avec 32 Go de ram , elle est toute a toi sans problème et avec grand plaisir .

bon quand faut y aller  .........  faut y aller  ....  :aulit:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: f11ksx le 02 novembre 2018 à 08:07

En partant sur un machine 2C/4T, il faut 4Go/cœur ou 2Go/thread.

Autre limitation, le temps de calcul pour DFT. Nos premiers tests ont montré des temps pouvant atteindre plusieurs jours sur plusieurs cœurs.

J'ai deux machines avec 256 Go de mémoire et 2 autres à 64 Go
J'ai passé dix ans à calculer de courbes elliptiques pour factoriser des nombres de Fermat   :hap:
Même pas peur ! ! !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 02 novembre 2018 à 19:26
Produire un vrai projet, c'est pas simple et la technique VM virtualbox est tentante !
Ah ça y est, on a perdu toTOW :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 03 novembre 2018 à 18:14
On m'appelle ? :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 05 novembre 2018 à 18:30
No problemo pour la RAM, il suffira de limiter le nombre d'UT simultanées, soit sur le serveur, soit sur le client en utilisant <project_max_concurrent>.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 05 novembre 2018 à 21:55
Hello,

content de voir que ce projet se poursuit même si ce n'est pas visible pour la partie BOINC. Nous oublions trop souvent qu'il y a une grosse partie du boulot scientifique qui ne concerne pas BOINC.
En tous cas, cela semble prendre forme, les idées ont été bonnes, ça fait plaisir à voir ! :)

Je ne me mettrais pas un frein à la durée de calcul, ni aux quantités de données à échanger. On a vu des projets, CPDN par exemple, avec des temps de calcul et de données assez importants.

En revanche pour la RAM, je suis un peu plus réservé: avoir un dépassement de RAM provoque de gros soucis sur la machine.
Limiter à une seule UT par machine dans un premier temps me parait sage :jap:

De toutes façons, j'imagine une beta privée avec code d'invitation pour démarrer ? Une spéciale AF ? :D

Bon courage à toi, l'AF sera présente, je n'en doute pas !

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Matt11 le 04 janvier 2019 à 12:59
 En parcourant les actualités scientifiques, je suis tombé sur cet article (https://www.futura-sciences.com/sciences/actualites/physique-ia-attaque-secrets-eau-equation-schrodinger-10478/#xtor=RSS-8) qui m'a immédiatement fait penser au projet damotbe.

Citer
Dans le cas présent, l'équipe de physiciens a utilisé une variante de ce qui est connu en chimie quantique et en physique de la matière condensée sous le nom de « théorie de la fonctionnelle de la densité » (DFT, pour Density Functional Theory). Cette variante ainsi complétée sur ordinateur par du Deep learning afin d'économiser de la puissance de calcul, les chercheurs ont ainsi pu reproduire plusieurs propriétés thermodynamiques de l'eau, issues de la mécanique quantique, notamment la fameuse différence de densité entre la glace et l'eau liquide, la différence des températures de fusion entre l'eau normale et l'eau lourde contenant du deutérium et la stabilité de différentes formes de glace.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 janvier 2019 à 16:13
Très intéressant article.

Mais je sais pas si un réseau de neurone est adaptable à boinc (= saucissonnage des calculs)... (*)

Damotbe au boulot ! :)


(*) remarquez un projet comme CPDN ne fait (du moins "ne faisais", ça fait un moment que je le suis plus) justement pas du saucissonnage (du moins pas à une petite échelle) mais envoyait justement un "petit" modèle complet à calculer par le cruncher, d'où la très longue durée des tâches...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 04 janvier 2019 à 18:23
Oui, article super intéressant !
Merci Matt11 !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 06 janvier 2019 à 16:10
Merci Matt pour cet article intéressant.

J'en profite pour souhaiter à damotbe le meilleur pour son projet durant cette année 2019 !!!

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 23 juillet 2019 à 17:57
Hello !  :hello:

ça avance malgré un manque cruel de financements.
Vu mon niveau d'activité sur le forum (et en crunch). Vous devez bien vous doutez de quelque chose  :siflotte:
En tout cas, certains me demandent déjà un compte...  :cavachier:

Faisons le point. J'ai un stagiaire, Théo, qui travaille d'arrache pied depuis Avril pour mettre le serveur en place et fournir des applications. Deux serveurs sont en place. Un serveur privé avec des applications qu'on ne peut pas partager. Une campagne de calcul a déjà tournée dessus et c'est plutôt satisfaisant.  :love:
Et un serveur publique (avec code d'invitation) qui possède une application en VM et qui est encore très minimaliste (https://quchempedia.univ-angers.fr/athome/ (https://quchempedia.univ-angers.fr/athome/)). Nous devrions avoir bientôt une campagne de calcul a vous proposer, mais avant ça il faudra faire quelques tests grandeur réelle !  :coffeetime:
Théo devrait bientôt créer un compte sur le forum pour interagir avec vous et vous donner le code d'invitation quand il sera prêt. :gno:

Voilà pour le petit teaser.

Je sais qu'ici nous avons des artistes pour les badges. Si le cœur vous en dit ! Pour rappel, c'est un projet qui mêle chimie moléculaire quantique et intelligence artificielle.

 :kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 23 juillet 2019 à 18:00
Hello !  :hello:

ça avance malgré un manque cruel de financements.
Vu mon niveau d'activité sur le forum (et en crunch). Vous devez bien vous doutez de quelque chose  :siflotte:
En tout cas, certains me demandent déjà un compte...  :cavachier:

Faisons le point. J'ai un stagiaire, Théo, qui travaille d'arrache pied depuis Avril pour mettre le serveur en place et fournir des applications. Deux serveurs sont en place. Un serveur privé avec des applications qu'on ne peut pas partager. Une campagne de calcul a déjà tournée dessus et c'est plutôt satisfaisant.  :love:
Et un serveur publique (avec code d'invitation) qui possède une application en VM et qui est encore très minimaliste (https://quchempedia.univ-angers.fr/athome/ (https://quchempedia.univ-angers.fr/athome/)). Nous devrions avoir bientôt une campagne de calcul a vous proposer, mais avant ça il faudra faire quelques tests grandeur réelle !  :coffeetime:
Théo devrait bientôt créer un compte sur le forum pour interagir avec vous et vous donner le code d'invitation quand il sera prêt. :gno:

Voilà pour le petit teaser.

Je sais qu'ici nous avons des artistes pour les badges. Si le cœur vous en dit ! Pour rappel, c'est un projet qui mêle chimie moléculaire quantique et intelligence artificielle.

 :kookoo:
:hyperbon: :hyperbon: :hyperbon:  :hap: :hap:  :kookoo: :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 23 juillet 2019 à 18:02
J'ai oublié l'essentiel.  :D
Est-ce possible d'avoir un code d'invitation ?
Merci.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 23 juillet 2019 à 18:09
:bounce:

Je veux bien être alpha-testeuse aussi :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 23 juillet 2019 à 18:54
Idem :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 23 juillet 2019 à 22:12
Tout d'abord bravo damotbe pour ce travail !!!  :plusun:

Je n'ose imaginer la complexité pour tout mettre en place.  :gloiraseti:

En tous cas, VM ou pas, saches que tout mon parc est à ta disposition pour faire des tests: il y a du Intel, du AMD, du W7, W10, Ubuntu 16.04 et 18.04

En attente de tes nouvelles et d'un code d'invitation  :chefouichef: :chefouichef: :chefouichef:

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 24 juillet 2019 à 05:41
 :plusun:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 24 juillet 2019 à 08:40
Impatient   :+1:

(essaie de trouver des idées de badges...)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes]on2vhf le 24 juillet 2019 à 15:50
 :plusun:
Félicitations  :hello:
J'ai hâte aussi  :pt1cable:
Laurent
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Matt11 le 24 juillet 2019 à 18:19
Une chose est sure, la "hype" est bien présente.
J'espère que la quantité de calcul dont vous avez besoin est assez grande pour satisfaire tout le monde.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: zelandonii le 24 juillet 2019 à 23:05
Je plussoie, à ta disposition! :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 24 juillet 2019 à 23:54
J'aurais bien voulu participer ... mais bon ... :/
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 25 juillet 2019 à 08:20
J'aurais bien voulu participer ... mais bon ... :/

Ce sont les VM qui t'embêtent ? Tu utilises plutôt quoi comme OS ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 26 juillet 2019 à 00:33
Il est anti-VM, point. :lol:

Mais on l'aime bien quand même :)

Moi je veux bien aider, les VM c'est le pied !! ;)

En revanche je crains fort que malgré la VM vous n'en soyez pas encore à faire un wrapper macOS... ??

Et sur le shadow, on peut pas installer VirtualBox... ou si ??
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 26 juillet 2019 à 21:35
Pas de virtualisation sur un Shadow, c'est déjà une machine virtuelle et on est pas dans Inception :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 26 juillet 2019 à 23:25
Pas de virtualisation sur un Shadow, c'est déjà une machine virtuelle et on est pas dans Inception :D

(https://reho.st/thumb/self/3a5cf13e8585dd4f662de919fec47c3114b32bdf.jpg) (https://reho.st/view/self/3a5cf13e8585dd4f662de919fec47c3114b32bdf.jpg)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 27 juillet 2019 à 11:14
:D

Rions encore un peu : dans le cadre des théories du complot, je me suis dit "je vais réessayer, pour voir". J'avais déjà tenté d'installer VB dans le shadow au tout début, je me souviens plus du tout à quelle moment j'avais fait marche arrière et désinstallé complètement VB (erreurs dès l'installation ?)

Bref je suis joueur (parfois), j'essaye à nouveau : installation de la dernière version 5.2.32 (pas la 6, faut pas déconner), boinc la reconnait au lancement. Je télécharge une image débian sur un site, je crée la VM sous VB à partir de l'image existante. Je lance.

Reboot ! test complet du disque ! ouf le Shadow a redémarré normalement !!

A ne pas essayer, donc :lol:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 27 juillet 2019 à 11:54
:D

Rions encore un peu : dans le cadre des théories du complot, je me suis dit "je vais réessayer, pour voir". J'avais déjà tenté d'installer VB dans le shadow au tout début, je me souviens plus du tout à quelle moment j'avais fait marche arrière et désinstallé complètement VB (erreurs dès l'installation ?)

Bref je suis joueur (parfois), j'essaye à nouveau : installation de la dernière version 5.2.32 (pas la 6, faut pas déconner), boinc la reconnait au lancement. Je télécharge une image débian sur un site, je crée la VM sous VB à partir de l'image existante. Je lance.

Reboot ! test complet du disque ! ouf le Shadow a redémarré normalement !!

A ne pas essayer, donc :lol:
C'est donc a ça que tu passe ta journée ?
Avec l'accord de ton employeur ça va sans dire.  :desole:   :lol:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 28 juillet 2019 à 17:33
Ah non c'était hier ça à la maison :lol:

Chez mon employeur aucun risque : pas de droits admin sur le poste, impossible d'installer quoi que ce soit, j'utilise juste une version portable de boinc sans connexion au réseau (je dois passer pas le partage réseau de mon phone pour pouvoir télécharger les tâches, le proxy du bureau ne le permettant pas) ;)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 31 juillet 2019 à 11:29
Bonjour à tous.

Je me présente, je suis le stagiaire qui s'occupe de la partie BOINC.
Je vais être votre principal interlocuteur pendant le mois qui vient, alors n'hésitez pas à me faire part des remarques ou bug. ;)

Dans un premier temps je vais envoyer le code d'invitation par MP à un nombre limité d'utilisateur et avec peu de calcul.
Si tout se passent bien, je pourrai augmenter le nombre de calcul et le nombre de personne sur le projet.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 juillet 2019 à 11:52
 :bipbip:

YEAH !!!! Code d'invitation reçu, je regarde cela sur la pause déjeuner !!!   
Super heureux d'avoir été sélectionné :) :) :)

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 31 juillet 2019 à 12:37
Je veux bien aussi jouer à l'alpha testeur  :jap:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 juillet 2019 à 14:38
Quelle version de VirtualBox est recommandée ? La 5.2.8 ?

J'ai la 6.0.10 sous Ubuntu 16.04 et les UTs partent en erreur direct.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 31 juillet 2019 à 14:51
J'ai la version 6.0.10r132055 sur ma machine et je n'ai pas eu de problème.
Ton problème a l'air de venir du fait que tu n'as pas la virtualisation d'activer.

VBoxManage: error: AMD-V is disabled in the BIOS (or by the host OS) (VERR_SVM_DISABLED)
VBoxManage: error: Details: code NS_ERROR_FAILURE (0x80004005), component ConsoleWrap, interface IConsole
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 juillet 2019 à 15:40
Mea culpa, je n'ai pas vérifié l'activation suite à une mise à jour de BIOS...  :jap:

La première UT est en cours, l'occupation CPU semble fluctuante mais pas grave  :)

Je ne lance qu'une seule UT par machine pour le moment, je verrai ce soir pour en lancer deux en //

Merci de ton aide et ta réactivité !  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 juillet 2019 à 16:23
Salut tdeze, sympa de venir nous voir, mis à part que août on est pas bien nombreux, French majority oblige ! (pour ma part vacances dans 2 jours)

Bon alors c'est sûr vous voulez pas développer un wrapper Mac pour ce projet sous VB ??

(http://queenmama.fr/wp-content/uploads/2015/12/shrek-spin-off-chat-botte-T-1.jpeg)

Pourtant c'est faciiiiiiile :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Cocagne le 31 juillet 2019 à 16:27
Je suis aussi intéressée pour Mac mais j'ai aussi une machine windows qui pourrait tester  :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 31 juillet 2019 à 16:32
Merci pour le code d'invitation, première tâche presque finie :love:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 31 juillet 2019 à 16:32
Salut JeromeC,

Il existe un wrapper Mac, mais je n'ai pas de Mac pour le tester. Si tu veux le tester, je peux t'envoyer un code .
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 juillet 2019 à 16:43
Sur ma première machine (Ryzen 1700X/W10) la tâche semble de plus en plus patiner à l'approche des 100% après ~4h de calcul.

Une idée du temps de calcul sur une de vos machines par exemple ?
 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 juillet 2019 à 17:00
Salut JeromeC,

Il existe un wrapper Mac, mais je n'ai pas de Mac pour le tester. Si tu veux le tester, je peux t'envoyer un code .
Tu veux dire que tu génères des tâches pour Mac ? le serveur boinc doit générer des tâches par OS, à ma connaissance ce n'est pas générique...

Moi je veux bien, mais comme je disais je pars vendredi matin, retour dans 3 semaines. Donc je pourrais pas faire un test très suivi avant fin août, mais après je serai complètement volontaire.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 31 juillet 2019 à 17:05
 :hello:
Je veux bien tester moi aussi  :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 31 juillet 2019 à 17:14
[AF] fansyl: C'est normal il faut que j'affine le temps de calcul. Environ 7~8 heures.

JeromeC: Je crée une tâche générique (fichier d'entrée) qui utilise un exécutable spécifique pour chaque os (windows_x86_64, x86_64-pc-linux-gnu et x86_64-apple-darwin).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Pascal le 31 juillet 2019 à 17:21
 :kookoo:
Une idée comme ça, limiter le nombre d'unités envoyées par machine afin de pouvoir faire calculer un maximum de machines différentes.

Je veux bien tester également.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Cocagne le 31 juillet 2019 à 17:32
C'est parti sur mac
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 juillet 2019 à 19:58
Heu ben je le veux bien le code d'invitation alors !! je pourrai faire un peu de test jusqu'à demain soir !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 juillet 2019 à 20:39
J'ai une erreur assez originale:

Citer
31/07/2019 14:24:44 | QuChemPedIA@home | Task dsgdb9nsd_nwchem,bath19,dsgdb9nsd_064550,nwchem_vm,1564566046_0 postponed for 86400 seconds: VM Hypervisor failed to enter an online state in a timely fashion.

Je verrai bien demain si elle se débloque.

Edit: j'ai redémarrer le boinc manager, la tâche est repartie de zéro et est bloquée de nouveau au même endroit : 12.8%
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 31 juillet 2019 à 22:48
Première tâche finie :)
Citer
31 Jul 2019, 11:48:50 UTC   31 Jul 2019, 20:46:14 UTC   Terminé et validé   32,244.00   55,438.55   1,083.76   NWChem VM v0.81 (vbox64)
x86_64-pc-linux-gnu
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 31 juillet 2019 à 23:04
Je veux bien participer aux tests (si c'est possible) !  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 juillet 2019 à 23:05
Ah oui 15h quand même, pas la peine d'attendre :D , je vais me coucher  :aulit:

Toi aussi elle a patiné à la fin ?

Pour mon erreur précédente, j'ai installé le Pack Extension pour VirtualBox 5.2.8 mais pas de changement.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 31 juillet 2019 à 23:17
En fait, elle affichait 7h39 une fois finie (sur 4 coeurs), mais effectivement la fin est longue. Elle était à 96.77% au bout de 1h48...
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2157
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 31 juillet 2019 à 23:40
Bon c'est un projet français, je veux bien faire une exception, il faut installer quoi pour tester ? :??:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Rhodan71 le 31 juillet 2019 à 23:54
 :hello: je veux bien être bêta testeur, si possible  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 01 août 2019 à 05:13
Hello  :hello:

Je veux bien un code d'invitation, si possible :)

Merci ! :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 01 août 2019 à 06:38
Une UT de fini.
Citer
   31 Jul 2019, 15:20:48 UTC    1 Aug 2019, 1:09:35 UTC    Completed and validated    35,327.00    74,504.92    1,187.38    NWChem VM v0.81 (vbox64)
windows_x86_64

Et sur Ubuntu 2 Ut a 99,999% après 13H de calcul et elle continu.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 09:35
Bonjour,

Je vais arrêter d'envoyer le code temporairement, car certain calcul ne sont pas validés à cause de problème de chimie.

On m'a demandé pourquoi le forum n'était pas activé, alors c'est damotbe qui m'a dit qu’actuellement nous utiliseront ce forum pour les retours pour plus simplicité.

Je vais aussi regarder pourquoi les calculs sont si longs, je prends peut être pas assez de ram par application (1 Gb) ?

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 01 août 2019 à 09:45
Mais oui prends-en de la RAM, elle n'est pas chère en ce moment !!!  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 10:10
3 Gb ça passe ou il faut mieux que je limite a 2 Gb ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 01 août 2019 à 11:00
Alors sur mes machines, tu peux prendre 3Go mais c'est un peu risqué pour d'autres.

Je dirai 3Go si tu limites le nombre de tâches à une seule à la fois, 2Go si tu laisses libre le nombre d'UT en // mais ce n'est que mon avis.

 :hello:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 01 août 2019 à 11:04
3 Gb ça passe ou il faut mieux que je limite a 2 Gb ?

2 Go et une petite partition swap à l'image d'une machine virtuelle
cela a aidé la nouvelle application sur le LHC-dev
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 11:15
Bon bah j'étais partie sur du 3, mais je vais devoir toutes recrées pour du 2. :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 01 août 2019 à 12:12
Bonjour,
Je rentre tout juste de vacances.
Je veux bien tester aussi quand ce sera possible.
Cela fonctionne-t-il sur GPU ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 12:41
J'ai recrée les jobs avec plus de ram, ça devrait améliorer les perf et corriger le problème d'invalide. Pour ceux qui ont le projet, penser à faire un update du projet.
Je vais renvoyer le code a d'autres personnes (on va dire 5), donc poster un message après celui-là, cela plus simple pour savoir qui en veut.

PS: Il faut avoir VirtualBox et la virtualisation d'activé.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 12:42
[AF>Amis des Lapins] Jean-Luc: pas de calcul GPU pour l'instant.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 01 août 2019 à 12:54
je veux bien tester, merci  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 01 août 2019 à 12:57
Je veux bien participer, merci !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 01 août 2019 à 13:05
J'ai envie de participer à votre projet.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 01 août 2019 à 14:41
Win7, BOINC 7.14.2, VBox 5.2.8

la tâche démarre et s'exécute: 25% de la CPU (1 cœur), une charge par minute 100% (4 coeurs), la mémoire est stable à 70% de 4 Go
après 5 minutes, les messages apparaissent dans le journal

2019-08-01 15:17:49 (1584): Starting VM. (boinc_ed0f7192d1f2212a, slot#5)
2019-08-01 15:22:56 (1584): Successfully started VM. (PID = '4828')
2019-08-01 15:22:56 (1584): Reporting VM Process ID to BOINC.
2019-08-01 15:22:56 (1584): VM is no longer is a running state. It is in 'poweredoff'.
2019-08-01 15:22:57 (1584): VM is no longer is a running state. It is in 'poweredoff'.
2019-08-01 15:22:59 (1584): VM is no longer is a running state. It is in 'poweredoff'.
. . . .
2019-08-01 15:27:55 (1584): VM is no longer is a running state. It is in 'poweredoff'.
2019-08-01 15:27:56 (1584): VM is no longer is a running state. It is in 'poweredoff'.
2019-08-01 15:28:02 (1584):
   NOTE: VM failed to enter an online state within the timeout period.
               This might be a temporary problem and so this job will be rescheduled for another time.

VM continue de fonctionner comme avant
après 5 minutes supplémentaires, la tâche est reportée d'une journée (86400s)
l'application est déchargée, la machine virtuelle est dans un état interrompu

L'application ne voit-elle pas la machine virtuelle?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 14:54
Je vais attendre le retour d'autre personne s'ils ont le problème, avant de modifier des choses, et je vais regarder si je trouve une solution de mon côté.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 01 août 2019 à 15:04
regardé d'autres ordinateurs avec Win7 - tout est similaire

https://quchempedia.univ-angers.fr/athome/result.php?resultid=2085
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2161

c'est la mienne
https://quchempedia.univ-angers.fr/athome/result.php?resultid=3135
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 15:24
ça viendrait de windows 7.  :/

Voici un qui a fonctionné même version de BOINC et de VirtualBox mais sur Windows 10.
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2169
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 01 août 2019 à 16:28
Une tâche en cours sur un ordi Win10 (4 CPU)...
deux autres ordis Win10 avec zéro tâche : pas de tâche dispo !?

Essai sur Linux et Android mais y a-t-il des tâches dipos pour ces 2 OS ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 16:35
franky82: Actuellement il y a 415 jobs non envoyé. Normalement il y a des jobs pour toutes  les machines qui ont VirtualBox donc pas android.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 01 août 2019 à 17:07
Pourtant, malgré l'utilisation de BSF pour forcer le téléchargement de tâches, je n'arrive pas à charger de tâche pour ces 2 ordis Win10 (qui ont bien VirtualBox installé et fonctionnel - déjà utilisé pour d'autres projets) ! :-/
#waitandsee
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 01 août 2019 à 17:17
franky82 : Voici le problème la virtualisation n'est pas activée.
Virtualbox (5.2.26) installé, le processeur est compatible avec la virtualisation matérielle, mais n'est activé
https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=16
Virtualbox (5.2.26) installé, le processeur est incompatible avec la virtualisation matérielle
https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=17
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Pascal le 01 août 2019 à 17:33
 :kookoo: J'aimerais également recevoir un code.

Merci tdeze. :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 01 août 2019 à 17:43
@tdeze OK, merci, je n'avais pas assez fouillé !  :/  :jap:
(pourtant j'ai déjà crunché des projets vbox avec ces ordis)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 01 août 2019 à 19:47
Je veux bien un code aussi

2 PC sous win7
2 sous win10
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 août 2019 à 20:13
Bonjour,

Je vais arrêter d'envoyer le code temporairement, car certain calcul ne sont pas validés à cause de problème de chimie.

On m'a demandé pourquoi le forum n'était pas activé, alors c'est damotbe qui m'a dit qu’actuellement nous utiliseront ce forum pour les retours pour plus simplicité.

Je vais aussi regarder pourquoi les calculs sont si longs, je prends peut être pas assez de ram par application (1 Gb) ?

Merci Théo pour le boulot !

Effectivement, vue la charge de travail, on ne se voit pas modérer un forum, donc pour le moment ce n'est pas activé.

De mon côté la plupart des jobs (sur ma machine win7) partent en "Reporté : VM Hypervisor failed to enter an online state in a timely fashion." Est-ce que ça peut venir d'un timeout que l'on peut configurer ? Ma machine mouline trop ? j'entends beaucoup le disque dur (7200tr/min) c'est peut-être un indice (swap de la VM).

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: MortelKni le 01 août 2019 à 21:48
Je veux bien participer également ! Un Pc sous W10, et possible d'en lancer un autre sous debian si ça peut aider.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 01 août 2019 à 22:53
Même problème que toi damotbe sur ma machine i7-3770 sous W7. En revanche le vieux Core2Quad Q9550 sous W7 également est en train d'en faire une depuis 5h, on verra demain matin.

En tous cas, le temps de calcul à l'air bien plus réaliste sur la nouvelle série d'UT, ça évite qu'il en charge 24 d'un coup comme un débile  :electric:

Les heures WUProp sont bien comptabilisées, c'est cool  :plusun:

Il reste à les voir dans les StatsSeb et une belle série de badges pour être au top ! D'ailleurs je suis étonné qu'aucun AFien n'ai proposé qqch, pour les RAID, les gens sont inspirés !  :D

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 01 août 2019 à 23:38
Si vous avez encore besoin de testeurs, je dois avoir une machine qui respecte les critères pour participer ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 août 2019 à 23:39
Désolé pas eu le temps du tout de tenter la chose, trop de taff en ce dernier jour de boulot, et là demain adios cassos y hasta luegos :)

Conseils (plus ou moins utiles):
- le forum de boinc lui même pour les pbms bizarres
- le google group "boinc_projetcts" (cf le site de boinc) pour avoir d'autres dev boinc aguerris à l'autre bout du fil
- les fora des projets à base de VM eux même (LHC...) ?

La VM c'est pas simple à bien régler au début, tous les projets à VM ont plus ou moins galéré.

L'erreur de l'hyperviseur ça me rappelle quelque chose, faut la chercher sur google / les fora de projets à VM :)

Bon courage !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 août 2019 à 23:41
PS : OULA ! toTow qui propose DEUX FOIS DE SUITE son aide pour participer sur un projet à VM  :bouh:

Laissez pas passer cette opportunité, ça se reproduira pas deux fois ;) :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 02 août 2019 à 01:49
C'est pas faux ... surtout que le laptop qui peut participer est plus en très grande forme :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: marmot le 02 août 2019 à 03:33
Hello

I am one of the people that pestered damotbe to join the testing (found him on Collatz@home).
He pulled out the :cavachier: when mentioning us above in the thread  :blbl:

I use 24 of my own build VM's to run BOINC and have 4 machines with various Virtual BOX versions and hardware to test the new VM app on.
Please let me help even though I'm a snooty American who can not speak French.


ImTranslator   v.15.30 http://about.imtranslator.net/about/company/ (http://about.imtranslator.net/about/company/)
Bonjour

Je suis l’une des personnes qui ont harcelé damotbe pour participer aux essais (je l’ai trouvé sur Collatz @ home).
Il a sorti le :cavachier: en nous mentionnant ci-dessus dans le fil :blbl:

J'utilise 24 de mes propres VM pour exécuter BOINC et j'ai 4 machines avec différentes versions de Virtual BOX et du matériel pour tester la nouvelle application de VM.
S'il vous plaît, laissez-moi vous aider, même si je suis un américain prétentieux qui ne parle pas français.

La marmotte, porteuse de la peste bubonique
https://www.theguardian.com/world/2019/may/06/mongolian-couple-die-of-bubonic-plague-after-eating-marmot (https://www.theguardian.com/world/2019/may/06/mongolian-couple-die-of-bubonic-plague-after-eating-marmot)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 02 août 2019 à 07:33
Hello je veux bien participer  :kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 août 2019 à 09:04
Hello

I am one of the people that pestered damotbe to join the testing (found him on Collatz@home).
He pulled out the :cavachier: when mentioning us above in the thread  :blbl:

I use 24 of my own build VM's to run BOINC and have 4 machines with various Virtual BOX versions and hardware to test the new VM app on.
Please let me help even though I'm a snooty American who can not speak French.


ImTranslator   v.15.30 http://about.imtranslator.net/about/company/ (http://about.imtranslator.net/about/company/)
Bonjour

Je suis l’une des personnes qui ont harcelé damotbe pour participer aux essais (je l’ai trouvé sur Collatz @ home).
Il a sorti le :cavachier: en nous mentionnant ci-dessus dans le fil :blbl:

J'utilise 24 de mes propres VM pour exécuter BOINC et j'ai 4 machines avec différentes versions de Virtual BOX et du matériel pour tester la nouvelle application de VM.
S'il vous plaît, laissez-moi vous aider, même si je suis un américain prétentieux qui ne parle pas français.

La marmotte, porteuse de la peste bubonique
https://www.theguardian.com/world/2019/may/06/mongolian-couple-die-of-bubonic-plague-after-eating-marmot (https://www.theguardian.com/world/2019/may/06/mongolian-couple-die-of-bubonic-plague-after-eating-marmot)

Welcome here Marmot ! :jap:

I planned to send you an invitation code after this very alpha testing part. But if you want to join, Théo (tdeze) can send you the code.

Best regards
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 02 août 2019 à 10:11
:hello: les admins de l'AF!

J'ai vu qu'il existait déjà une équipe (https://quchempedia.univ-angers.fr/athome/top_teams.php), vous voulez bien créer l'AF, SVP? Merchiiiiiiii! :jap:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 02 août 2019 à 10:20
:hello: les admins de l'AF!

J'ai vu qu'il existait déjà une équipe (https://quchempedia.univ-angers.fr/athome/top_teams.php), vous voulez bien créer l'AF, SVP? Merchiiiiiiii! :jap:
Perso je ne sais pas le faire d'habitude c'est Damien qui s'en occupe.  :/
 
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 août 2019 à 11:11
En tout cas merci à tous pour votre aide  :smak:
ça va bien nous aider !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 11:25
Actuellement, je regarde pourquoi les temps de calcul sont si longs et le problème de l'hyperviseur.


Merci pour vos retours.  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Cocagne le 02 août 2019 à 11:47
Sur mac on dirait que VB n'utilise pas les 4 coeurs alloués.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 02 août 2019 à 12:31
De mon côté la plupart des jobs (sur ma machine win7) partent en "Reporté : VM Hypervisor failed to enter an online state in a timely fashion."

Idem pour moi.
RAM très loin d'être saturée !
Déjà 6 tâvhes dans ce cas, aucune n'a atteint les 11 minutes !

@damotbe et fansyl : Vous avez réussi à régler le problème, et si oui, comment ?
Cela a-t-il un rapport avec la version de la Virtual Box ?
Et d'ailleurs, comment faites-vous pour connaître votre version de Virtual Box ?

Je vais suspendre le projet en attendant !

Sinon, pour info :

Dans les app-config.xml, pour mobiliser 4 threads, il faut mettre :

<app_config>
   <app>
   <name>nwchem_vm</name>
   <max_concurrent>1</max_concurrent>
   </app>
</app_config>

au lieu de :

<app_config>
   <app>
   <name>nwchem_vm</name>
   <max_concurrent>4</max_concurrent>
   </app>
</app_config>
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 août 2019 à 13:24
j'ai redémarré ma machine, ça semble fonctionner. J'ai l'impression qu'il aime pas trop quand je suspend les tâches  :??:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 02 août 2019 à 13:26
J'ai le problème aussi bien avec VirtualBox 5.2.8 que 6.0.10 sous W7 sur ma machine i7-3770.

Comme je disais plus haut, mon vieux Core2Quad sous W7 et 6.0.10 est en train d'en faire une depuis hier soir, donc je ne comprends pas le problème.

Sinon de mon avis, le ligne <max_concurrent> c'est pour régler le nombre d'UT exécutées en même temps. Je suis à 1 et elle utilise bien 4 cœurs de CPU, avec des fluctuations de temps en temps.

Edit: un reboot n'a rien changé chez moi

 :hello:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 02 août 2019 à 13:42
De mon côté la plupart des jobs (sur ma machine win7) partent en "Reporté : VM Hypervisor failed to enter an online state in a timely fashion."

Idem pour moi.

La tâche reste dans boincmanager mais il ne se passe plus rien
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 août 2019 à 13:44
Je pense que le code de nwchem n'est pas 100% parallèle. l'occupation CPU fluctue entre 1 et 4 cœurs.
C'est peut-être améliorable avec une meilleur compilation+bibliothèques, sinon une version 1 cœur ne devrait pas "trop" allonger les temps de calcul...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 02 août 2019 à 13:46
Le reboot ne change rien pour moi non plus...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 02 août 2019 à 14:24
Sous Manjaro avec VirtualBox 6.0.8 ça fonctionne comme une horloge suisse.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 02 août 2019 à 15:00
Sous Win10 (2 ordis) avec VB 5.2.8 : c'est long mais ça fonctionne jusqu'au bout !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 02 août 2019 à 15:01
Ni redémarrage de BOINC, ni rechargement, ni mise à jour vers la version VBox 6.0.10 - rien n'y fait


https://quchempedia.univ-angers.fr/athome/result.php?resultid=2096
un journal très intéressant pour cette tâche
d'abord eu une erreur. mais ensuite, à la deuxième tentative, il a glissé et à cet endroit même:
2019-08-01 07:15:57 (49240): Reporting VM Process ID to BOINC.
2019-08-01 07:15:57 (49240): Guest Log: BIOS: VirtualBox 5.2.8
2019-08-01 07:15:57 (49240): VM state change detected. (old = 'poweredoff', new = 'running')
2019-08-01 07:15:58 (49240): Guest Log: CPUID EDX: 0x178bfbff
2019-08-01 07:15:58 (49240): Guest Log: BIOS: ata0-0: PCHS=4161/16/63 LCHS=520/128/63

ainsi, soit vboxwrapper ne peut pas recevoir le code de processus de la machine virtuelle (affiche 0 secondes de temps CPU, bien que le processus fonctionne réellement).
ou l'extension invité (Guest ext) ne démarre pas et la connexion avec la machine virtuelle n'est pas établie

peut-être devriez-vous essayer avec une version différente de vboxwrapper
ou basculé vers une version encore plus ancienne de VBox
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 15:19
SVojna Actuellement, j'utilise la version vboxwrapper_26202_windows_x86_64 qui fonctionne pour virtualbox 6.0 (la seul?). Je vais crée un version spécial pour virtualbox 5 avec la version vboxwrapper_26200_windows_x86_64 pour testé.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Cocagne le 02 août 2019 à 15:43
Pour l'erreur Hypervisor je l'avais eu il y a longtemps sur lhc et en utilisant les infos dans ce fil, si je me souviens bien, j'avais réussi à régler le problème

https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=4161&postid=29359#29359
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 15:45
Ceux qui ont un problème d'hyperviseur mettez à jour le projet pour voir si vous récupérez bien la version NWChem VM v0.83 (vbox64v5) de l'application.
Et dit moi si ça règle votre problème.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 02 août 2019 à 16:12
Je viens d'abandonner des v0.83 (vbox64) et j'ai récupéré des v0.83 (vbox64v6), on va voir.

 :hello:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 02 août 2019 à 16:32
Ceux qui ont un problème d'hyperviseur mettez à jour le projet pour voir si vous récupérez bien la version NWChem VM v0.83 (vbox64v5) de l'application.
Et dit moi si ça règle votre problème.


ah j'ai une unité  NWChem VM v0.83 (vbox64v5)  active depuis 19 minutes

mes 2 précédents tests n'avaient pas dépassé les 11 minutes
wait and see donc

par contre je confirme aussi que l'UT prends 4 core mais n'en n'utilise qu'1 la majorité du temps
avec des pic à 99% d'utilisateur des 4 core
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 02 août 2019 à 16:39
après la mise à jour a reçu un mélange de versions
v6 est encore arrêté.
v5 fonctionne bien - le premier point de contrôle passé, affiche le temps CPU
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 16:42
vbox64v6 : pour virtualbox v6+ est identique a vbox64.
vbox64v5 : pour virtualbox v5 (downgrade du wrapper pour la version 26200)

Pour l'histoire qu'un seul cœur est utilisé à la fois, c'est sans doute dus que pas tout le code est multithread.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 16:46
SVojna: Tu as reçus des v6 sur une machine qui avait virtualbox 5 ou la v5 sur une machine qui avait virtualbox 6 ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 02 août 2019 à 16:50
Pour mon ordi (Win10) où la virtualisation n'était pas activée (mais processeur compatible) :
j'ai redémarré mon ordi, modifié le BIOS pour activer la virtualisation...
pourtant, malgré le rafraîchissement de mon ordi sous BM (et même la suppression de celui-ci et la réinstallation de QuChemPedIA), celui-ci apparaît toujours avec virtualisation non activée et ne charge, donc, pas de tâche !?  :/
(pourtant, le gestionnaire des tâches affiche bien que la virtualisation est activée)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 17:02
franky82:  La balise <p_vm_extensions_disabled> (si présente) n'est pas définie sur 1 dans cc_config.xml ou sched_request_sourcefinder .... xml?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 02 août 2019 à 17:14
J'ai essayé différentes versions - 5.1.18 et 6.0.10
mais retourne maintenant la version standard pour BOINC - 5.2.8
c'est avec la version 5.2.8 que j'ai reçu un ensemble de tâches 4pcs v6 et 4pcs v5
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 02 août 2019 à 18:25
Aucun problème pour moi à part des temps de calcul un peu longs et une utilisation CPU qui oscille entre 1 et 4.

-ubuntu 16.04.6 avec VirtualBox 6.0.10r132072
-ubuntu 18.04.2 avec VirtualBox 5.2.18r124319
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 02 août 2019 à 18:33
franky82:  La balise <p_vm_extensions_disabled> (si présente) n'est pas définie sur 1 dans cc_config.xml ou sched_request_sourcefinder .... xml?
Rien de ce genre dans cc_config et je n'arrive pas à laisser la balise <p_vm_extensions_disabled> à 0 : elle se remet à 1 chaque fois !?
(elle apparaît dans plusieurs fichiers XML)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 02 août 2019 à 18:47
franky82:  La balise <p_vm_extensions_disabled> (si présente) n'est pas définie sur 1 dans cc_config.xml ou sched_request_sourcefinder .... xml?
Rien de ce genre dans cc_config et je n'arrive pas à laisser la balise <p_vm_extensions_disabled> à 0 : elle se remet à 1 chaque fois !?
(elle apparaît dans plusieurs fichiers XML)

essayer le fichier client_state.xml 
source https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=4051
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 02 août 2019 à 18:53
J'ai essayé aussi...

[Edit] J'ai essayé de changer cette balise plusieurs fois mais elle se remet à 1... impossible !  :/ [/Edit]
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 02 août 2019 à 20:57
L'UT de mon vieux Core2Quad est validée !!  :clafete:

https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=2733

Config: W7, Boinc 7.14.2, VirtualBox 6.0.10, pas d'extension pack, 8Go de RAM, 16Go de swap

Je pars une semaine en vacances, je laisse les vannes ouvertes sauf sur ma machine i7-3770 qui bloque sur l'erreur "VM Hypervisor"

Continuez bien le débug et essayez de ne pas partir dans tous les sens ;)

On a la chance de participer à l'accouchement d'un projet, je trouve cela incroyable !!!  :)

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 02 août 2019 à 22:36
Task dsgdb9nsd_nwchem,bath19,dsgdb9nsd_069127,nwchem_vm,1564656012_0 postponed for 86400 seconds: VM job unmanageable, restarting later.

Ben mince alors  :(
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 03 août 2019 à 07:38
Hello !

Est-il possible de créer l'équipe ?

Merci  :hello: :jap: :kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 03 août 2019 à 09:33
J'ai essayé aussi...

[Edit] J'ai essayé de changer cette balise plusieurs fois mais elle se remet à 1... impossible !  :/ [/Edit]

tu as bien arrêté boinc avant de faire le changement ?
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 03 août 2019 à 09:54
J'ai essayé aussi...

[Edit] J'ai essayé de changer cette balise plusieurs fois mais elle se remet à 1... impossible !  :/ [/Edit]

tu as bien arrêté boinc avant de faire le changement ?
Oups... effectivement, ça fonctionne mieux !  :desole:
(je pensais l'avoir arrêté pourtant  :cpopossib: )

Donc, 3 ordis Win10 sur le projet (le dernier en VB 6) !  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 03 août 2019 à 12:14
Vous allez développer l'application sous Android?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 03 août 2019 à 12:20
Viens de constater un truc bizarre qui confirme ce que d'autres ont déjà dit.
Théoriquement, l'appli est censée tourner +- sur 4 coeurs, ce qui se traduit normalement par une différence équivalente entre temps de fonctionnement et temps de CPU. En regardant les tâches valides, j'ai constaté que pour les dernières le temps de fonctionnement = temps CPU, donc calcul uniquement sur 1 coeur.
https://quchempedia.univ-angers.fr/athome/results.php?hostid=7&offset=0&show_names=0&state=4&appid=

Serait-il envisageable d'enlever le MT?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 août 2019 à 12:50
Vous allez développer l'application sous Android?

Non, vus les temps de calcul et la complexité, ce n'est pas envisageable malheureusement.

Viens de constater un truc bizarre qui confirme ce que d'autres ont déjà dit.
Théoriquement, l'appli est censée tourner +- sur 4 coeurs, ce qui se traduit normalement par une différence équivalente entre temps de fonctionnement et temps de CPU. En regardant les tâches valides, j'ai constaté que pour les dernières le temps de fonctionnement = temps CPU, donc calcul uniquement sur 1 coeur.
https://quchempedia.univ-angers.fr/athome/results.php?hostid=7&offset=0&show_names=0&state=4&appid=

Serait-il envisageable d'enlever le MT?

Je suis assez d'accord avec ça, ce sera certainement plus simple à gérer. Par contre, le temps de calcul risque d'être de plusieurs jours.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 03 août 2019 à 13:09
Peut être essayer de passer à 2 cores à la place de 4 ?
et évaluer après


sur ce résultat on voit que le temps de fonctionnement est +- égale à la moitié du temps CPU

https://quchempedia.univ-angers.fr/athome/results.php?hostid=24
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 03 août 2019 à 13:50
Je vais suivre le conseil de mamouth et passé sur du 2 cœurs, mais je ne le désactive pas (pour l'instant), car certain des calculs utilise bien plusieurs cœurs.
https://quchempedia.univ-angers.fr/athome/result.php?resultid=3385

Selon les configurations:
VBOX6 + aucun problème -> ne changer rien
VBOX6 + problème d'hyperviseur -> passer à la version de VBOX5
VBOX5 + aucun problème -> ne changer rien
VBOX5 + problème d'hyperviseur -> envoyer moi le nom de l'apps + id du job qui a planté
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 03 août 2019 à 15:29
:jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 03 août 2019 à 18:07
Reprise des tests dans quelques jours.
VBOX 6x partout ici => tout est parti en erreur.
Dois réinstaller 5x
 :hello: :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 05 août 2019 à 09:59
:hello:
Reçu de nouvelles tâches prévues pour tourner sur seulement 2 CPU. Ce qui est marrant, c'est que les anciennes (prévues pour 4 CPU) se comportent comme des 2 CPU (cf. capture jointe). En fait, je n'ai que 6 cœurs dédiés à Boinc sous Manjaro, j'ai une VM Windows de 5 cœurs sur cet ordi (et le dernier me sert à bosser, naviguer, etc.).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 août 2019 à 17:27
Malheureusement, le serveur ne répond plus et je n'ai pas les accès pour le rallumer...  :/
L'équipe technique devrait pouvoir intervenir après le 20 aout :(

Merci pour votre aide ! on remet ça bientôt :hyperbon:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 05 août 2019 à 17:37
Espérons que ce ne soit rien de grave. En attendant on te garde les UT au chaud ;)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 05 août 2019 à 18:00
Malheureusement, le serveur ne répond plus et je n'ai pas les accès pour le rallumer...  :/
L'équipe technique devrait pouvoir intervenir après le 20 aout :(

Merci pour votre aide ! on remet ça bientôt :hyperbon:
Le 20 Août ? oups !!  :cavapobienmwa:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 05 août 2019 à 18:50
 :kookoo:
Il m'en reste quelques unes dont la deadline est le 15. Je les calcule ou pas?  :??:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 05 août 2019 à 18:58
:kookoo:
Il m'en reste quelques unes dont la deadline est le 15. Je les calcule ou pas?  :??:
Une UT commencer c'est une UT valider.  :kookoo:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 05 août 2019 à 19:26
:kookoo:
Il m'en reste quelques unes dont la deadline est le 15. Je les calcule ou pas?  :??:
Une UT commencer c'est une UT valider.  :kookoo:
Bon ben Je les calcule alors  :)  :jap:

EDIT: sauf que ça va un peu vite là... ça sent le plantage  :priz2tet:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 20 août 2019 à 15:09
:hello:

Bonne rentrée (on est bien le 20 aujourd'hui :ange: )!

Comment va le serveur?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 20 août 2019 à 15:39
:hello:

Bonne rentrée (on est bien le 20 aujourd'hui :ange: )!

Comment va le serveur?
:+1:    :ange:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Antares le 20 août 2019 à 18:07
J'aurais bien voulu participer ... mais bon ... :/

Ce sont les VM qui t'embêtent ? Tu utilises plutôt quoi comme OS ?

Moi aussi pas de VM, alors...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 22 août 2019 à 12:58
Désolé, la personne en charge du serveur reviendra lundi prochain...  :/ :cry:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 22 août 2019 à 14:26
:calin:

Pas de souci, les UT restent bien au chaud sur l'ordi d'ici là ;)
Ça permet de voir aussi les variations de temps d'exécution (voir capture (https://www.dropbox.com/s/n8pw8x45r71t31e/capture%20du%202019-08-20%2009-21-00.png?dl=0)), sachant que les tâches marquées 4 CPU ont été traitées comme des 2 CPU.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 22 août 2019 à 18:42
:calin:

Pas de souci, les UT restent bien au chaud sur l'ordi d'ici là ;)
Ça permet de voir aussi les variations de temps d'exécution (voir capture (https://www.dropbox.com/s/n8pw8x45r71t31e/capture%20du%202019-08-20%2009-21-00.png?dl=0)), sachant que les tâches marquées 4 CPU ont été traitées comme des 2 CPU.
modesti  :hello:

Tu continu a faire du Quake-Catcher Network alors que cela fait bien longtemps que le projet ne crédite plus ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 22 août 2019 à 21:34
modesti  :hello:

Tu continu a faire du Quake-Catcher Network alors que cela fait bien longtemps que le projet ne crédite plus ?
:hello: fzs
C'est pour les heures WUprop ;) Taiwan crédite parfois, quand il n'est pas en carafe. Mais j'avoue que sous Linux les UT ont tendance à dire "Erreur de calcul" au bout des 24h réglementaires, que ce soit l'un ou l'autre. :spamafote:
Si je calculais pour les crédits, ça se saurait :D Il n'y a qu'à regarder la liste des projets de mon compte WUprop et la comparer avec ceux de mes stats.
[fin du HS]
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 24 août 2019 à 12:07
Bon back in business mais il va donc falloir patienter un peu pour aider !

Ce qui me désole le plus c'est mon inaptitude à pouvoir proposer mon aide pour la partie Mac, mes souvenirs de (vrai) dev sont trop loin (j'ai fait du dev sur ERP durant des années mais des langages propriétaires "précablés" ça n'a rien à voir...), j'avais pas réussi à compiler les applis goofix quand je lui avais proposé mon aide, même pas réussi à compiler correctement le projet exemple "Hello world" de boinc, et ce même avec l'aide de Seb, trop d’écueils et trop d'expérience de dev requise... en fait c'est un métier !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 26 août 2019 à 13:27
Server is back !  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 26 août 2019 à 14:05
UTs renvoyées et ma machine principale Ryzen/W10 en a repris 8 configurées pour 2 CPUs.

Je m'occuperai des autres machines ce soir.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 26 août 2019 à 14:40
J'ai pu créer mon compte avec le code que m'avait fourni tdeze avant mes vacances, en revanche il faudra que j'ai accès à mon shadow pour tenter de m'y rattacher (je suppose que c'est très normal qu'il ne soit pas encore référencé dans SAM).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 26 août 2019 à 14:44
Hop, UT en attente renvoyées... reprise du crunch après le Wow Event SETI !

@JeromeC Pas de VM sur Shadow donc pas de QuChemPedIA !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 26 août 2019 à 14:49
Ahhhhh horreur malheur c'est vrai...

Je crois qu'on en avait parlé plus haut dans le topic et j'avais déjà constaté que je pourrais pas aider du tout (le PC du taff je peux pas installer VB non plus).... snif.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 27 août 2019 à 09:56
Les tâches récupérées hier après-midi ont été annulées par le serveur vers 22h UTC, pas reçu de nouvelles tâches Windows depuis.
En revanche, une machine Linux a reçu de nouvelles tâches, sans VirtualBox apparemment, je les laisse se calculer, le nombre de threads utilisés semble dépendre de la machine et c'est tant mieux !  :plusun:

 :hello:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 27 août 2019 à 10:19
Les tâches récupérées hier après-midi ont été annulées par le serveur vers 22h UTC, pas reçu de nouvelles tâches Windows depuis.
Pareil : tâches récupérées, annulées par le serveur dont une qui avait crunché pendant 12h...  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 27 août 2019 à 13:39
Enfin la reprise des serveurs pour ma dernière semaine de stage. :(

J'ai mis en place une application statique donc plus besoin de VM sur Linux. Ce qui avait peur de VM et était sur Linux. Vous pouvez-vous manifester pour que j'envoie un code d'invitation.

PS: désoler pour les jobs que j'ai du stop. Je n'ai pas le temps d'attendre, pour les tests.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Antares le 27 août 2019 à 14:36
Et pour les windosiens?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 27 août 2019 à 15:27
Hélas par manque de temps dû en partie à la coupure des serveurs. Les versions sans VM pour Windows et macOS sont en pause. :/
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 27 août 2019 à 15:48
Hélas par manque de temps dû en partie à la coupure des serveurs. Les versions sans VM pour Windows et macOS sont en pause. :/

Il faut qu'on se voit rapidement, pour le passage de relais (= faire vivre le serveur en l'état jusqu'au prochain stagiaire)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 27 août 2019 à 16:26
Sur Windows, retour des tâches VM à 4 CPU (et non 2, comme avant la coupure serveur) !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 27 août 2019 à 16:30
Sur Windows, retour des tâches VM à 4 CPU (et non 2, comme avant la coupure serveur) !

J'ai normalement corriger le problème du nombre de cœur, quand ça indique 4 cœurs ça utilise bien 4 cœurs. Si c'est pas le cas signalé le moi.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 27 août 2019 à 16:49
tâche en erreur

https://quchempedia.univ-angers.fr/athome/result.php?resultid=5662

2019-08-27 15:25:20 (6420): Checkpoint completed.
2019-08-27 15:35:05 (6420): Creating new snapshot for VM.
2019-08-27 15:35:11 (6420): Deleting stale snapshot.
2019-08-27 15:35:16 (6420): Checkpoint completed.
2019-08-27 15:45:07 (6420): Creating new snapshot for VM.
2019-08-27 15:45:14 (6420): Deleting stale snapshot.
2019-08-27 15:46:00 (6420): Checkpoint completed.
2019-08-27 15:55:11 (6420): Creating new snapshot for VM.
2019-08-27 15:55:18 (6420): Deleting stale snapshot.
2019-08-27 15:55:22 (6420): Checkpoint completed.
2019-08-27 15:56:46 (6420): Powering off VM.
2019-08-27 15:57:06 (6420): Successfully stopped VM.
2019-08-27 15:58:21 (7080): vboxwrapper (7.9.26200): starting
2019-08-27 15:58:21 (7080): Feature: Checkpoint interval offset (424 seconds)
2019-08-27 15:58:21 (7080): Detected: VirtualBox COM Interface (Version: 5.1.20)
2019-08-27 15:58:21 (7080): Detected: Minimum checkpoint interval (600.000000 seconds)
2019-08-27 15:58:21 (7080): Guest Log: BIOS: VirtualBox 5.1.20

2019-08-27 15:58:21 (7080): Guest Log: BIOS: ata0-0: PCHS=16383/16/63 LCHS=1024/255/63

2019-08-27 15:58:21 (7080): Guest Log: BIOS: Boot : bseqnr=1, bootseq=0032

2019-08-27 15:58:21 (7080): Guest Log: BIOS: Booting from Hard Disk...

2019-08-27 15:58:21 (7080): Guest Log: BIOS: KBD: unsupported int 16h function 03

2019-08-27 15:58:21 (7080): Guest Log: BIOS: AX=0305 BX=0000 CX=0000 DX=0000

2019-08-27 15:58:21 (7080): Guest Log: vgdrvHeartbeatInit: Setting up heartbeat to trigger every 2000 milliseconds

2019-08-27 15:58:21 (7080): Guest Log: vboxguest: misc device minor 59, IRQ 20, I/O port d020, MMIO at 00000000f0000000 (size 0x400000)

2019-08-27 15:58:21 (7080): Guest Log: vboxsf: g_fHostFeatures=0x1 g_fSfFeatures=0x0 g_uSfLastFunction=20

2019-08-27 15:58:21 (7080): Restore from previously saved snapshot.
2019-08-27 15:58:21 (7080): Restore completed.
2019-08-27 15:58:21 (7080): Starting VM. (boinc_0ae849ad690d64c9, slot#12)
2019-08-27 15:58:29 (7080): Successfully started VM. (PID = '6436')
2019-08-27 15:58:30 (7080): Reporting VM Process ID to BOINC.
2019-08-27 15:58:38 (7080): VM state change detected. (old = 'poweroff', new = 'running')
2019-08-27 15:58:42 (7080): VM is no longer is a running state. It is in 'poweroff'.
2019-08-27 15:58:42 (7080): VM state change detected. (old = 'running', new = 'poweroff')
2019-08-27 15:58:42 (7080): Powering off VM.
2019-08-27 15:58:42 (7080): Deregistering VM. (boinc_0ae849ad690d64c9, slot#12)
2019-08-27 15:58:42 (7080): Removing virtual disk drive(s) from VM.
2019-08-27 15:58:42 (7080): Removing network bandwidth throttle group from VM.
2019-08-27 15:58:42 (7080): Removing storage controller(s) from VM.
2019-08-27 15:58:42 (7080): Removing VM from VirtualBox.
2019-08-27 15:58:48 (7080): Virtual machine exited.
15:58:53 (7080): called boinc_finish(0)

</stderr_txt>
<message>
upload failure: <file_xfer_error>
  <file_name>dsgdb9nsd_nwchem,bath19,dsgdb9nsd_061724,nwchem,1566864766_0_r1620499490_0</file_name>
  <error_code>-161 (not found)</error_code>
</file_xfer_error>
<file_xfer_error>
  <file_name>dsgdb9nsd_nwchem,bath19,dsgdb9nsd_061724,nwchem,1566864766_0_r1620499490_1</file_name>
  <error_code>-161 (not found)</error_code>
</file_xfer_error>


ce poste avait pourtant renvoyé des tâches correctes et validées début août
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 27 août 2019 à 17:11
Oh ! j'ai réussi via la console linux intégrée au browser (KVM, sous chrome) de ma VM OVH , depuis mon PC du taff, à me rattacher au projet en ligne de commande avec un clavier qwerty (dans KVM, heureusement que j'ai commencé à bosser sur du qwerty dans ma jeunesse, j'ai encore les réflexes !) et SANS copier / coller (bonjour l'URL et la clé de compte :D) , exploit !!!

Et là... pas de tâche :cry:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 27 août 2019 à 22:44
J'ai l'impression que les tâches 4 CPU sous Linux fonctionne bien mais que les autres ont du mal  :/

Est-il nécessaire de décrire les erreurs ici ou vous avez assez d'informations côté serveur ?

Comment peut-t-on faire pour ne recevoir que des tâches 2, 4 ou 8 CPU ? Un app_config semble inefficace car il n'y a qu'une seule application reconnue par BOINC  :??:

Bon courage pour l'épluchage des log....  :paf:

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 28 août 2019 à 09:31
Ben moi la petite VM linux ne reçoit pas de tâche et c'est pas une impression !

Monocore... c'est pour ça ?

Le serveur dit qu'il a du stock, mais comme d'hab (comme tout serveur boinc) ça nous dit pas la répartition par OS.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 28 août 2019 à 09:54
2ème tâche 4 CPU sous Windows (NWChem v0.02 (vbox64_t4)) qui finit en état "Valider l'erreur" après 10h de crunch !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 28 août 2019 à 10:07
2ème tâche 4 CPU sous Windows (NWChem v0.02 (vbox64_t4)) qui finit en état "Valider l'erreur" après 10h de crunch !

Je sais que pendant nos tests, il  a fallu identifier quelles erreurs étaient informatiques ou chimiques. Si le problème est lié à la chimie, au final ce n'est pas une erreur de calcul. Quand, on sera capable de bien classer les problèmes, certaines erreurs seront des succès. Pour l'instant, vous nous aider à y voir plus clair. Merci !  :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 28 août 2019 à 11:08
N'oublies pas que le cruncher qui crunche et dont les (surtout longs) temps de calculs ne sont pas comptabilisés est un cruncher déçu ;)

Après heureusement qu'il y a WUProp :D

Mais pour vous aider dans votre phase de test nous somme prêts à tout :)
(mais pour ça, faut des tâches...)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 28 août 2019 à 13:03
Même problème de validation que franky82

https://quchempedia.univ-angers.fr/athome/result.php?resultid=5812

par contre ce qui est positif c'est que ce PC n'avait jamais réussi à terminer une tâche avant aujourd'hui
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 28 août 2019 à 13:48
N'oublies pas que le cruncher qui crunche et dont les (surtout longs) temps de calculs ne sont pas comptabilisés est un cruncher déçu ;)

Après heureusement qu'il y a WUProp :D

Mais pour vous aider dans votre phase de test nous somme prêts à tout :)
(mais pour ça, faut des tâches...)

Je pensais à un badge pour les testeurs, mais je ne suis pas graphiste  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 28 août 2019 à 14:31
Quel type de badge veux-tu?
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 28 août 2019 à 14:32
Je pensais à un badge pour les testeurs, mais je ne suis pas graphiste  :/
J'avais commencé à réfléchir sur une version à proposer mais le projet attend toujours dans un dossier de mon disque dur...  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 28 août 2019 à 14:35
Franky, nous avons des badges fait au-paravent  :kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 28 août 2019 à 15:00
Quel type de badge veux-tu?
Des badges pour testeurs.  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 28 août 2019 à 15:01
OK, je laisse mon projet en stand-by (au cas où...) !  :kookoo:

(ces 4 badges n'ont pas trop de rapport avec chimie quantique, encyclopédie et IA)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 28 août 2019 à 16:03
Monocore... c'est pour ça ?

vos hôtes sont cachés. identifié un approprié (n ° 34). le problème est pas assez de mémoire, vous avez besoin de plus de 2 Go. J'ai un hôte avec un problème similaire, un peu moins de 2 Go.

peut en quelque sorte séparer les tâches en fonction de la mémoire requise - avec les ordinateurs virtuels et en mode natif pour Linux


sur les badges - vous avez besoin de deux jeux de dessins
un ordinaire - avec gradation de couleur (bronze, argent, or) ou degré (1k, 1M, 1G)
et le deuxième, spécial - alpha / bêta, les résultats trouvés (le cas échéant, figureront dans ce projet)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 28 août 2019 à 16:11
Ben moi la petite VM linux ne reçoit pas de tâche et c'est pas une impression !

Monocore... c'est pour ça ?

Le serveur dit qu'il a du stock, mais comme d'hab (comme tout serveur boinc) ça nous dit pas la répartition par OS.

Il n'existe pas de tâches mono-coeur que du 2, 4 et 8 coeurs. 
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 28 août 2019 à 16:29
Il n'existe pas de tâches mono-coeur que du 2, 4 et 8 coeurs.

Le sheduler vérifie-t-il les paramètres du PC (nombre de cœurs)?
ou s'agit-il simplement du nom de la classe de plan et du paramètre de tâche?

vérifier que la mémoire requise est réelle - il existe une entrée dans les journaux du client (>2048.49M)

PS sur 4 processeurs, vous pouvez exécuter la tâche en 2 threads et 32 threads
1 CPU n'a qu'une seule mise en garde: prise en charge du multi-threading dans le système d'exploitation
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 28 août 2019 à 16:35
Il n'existe pas de tâches mono-coeur que du 2, 4 et 8 coeurs.

Le sheduler vérifie-t-il les paramètres du PC (nombre de cœurs)?
ou s'agit-il simplement du nom de la classe de plan et du paramètre de tâche?

vérifier que la mémoire requise est réelle - il existe une entrée dans les journaux du client (>2048.49M)

J'ai définie plusieurs plans de classe pour chaque nombre de coeurs (t2, t4, t8), normalement le sheduler dois vérifier le PC.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 28 août 2019 à 16:47
puis pour les extrêmes - uniquement à titre d’expérience pour le numéro d’hôte 34

<cc_config>
   <options>
      <ncpus>2</ncpus>
   </options>
</cc_config>
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 28 août 2019 à 18:19
Merci à tous les deux pour vos réponses : SVojna je suppose que tu es la personne qui reprend la suite du travail de tdeze ? ah ben non j'ai lu tes diverses interventions et non ! (bienvenu quand même :) ! )

Pour la visibilité de mon hôte j'ai constaté que l'option "Acceptez-vous que QuChemPedIA@home affiche vos ordinateurs sur son site web ?" est décochée par défaut sur mon compte, je l'ai coché maintenant.

Mais mon hôte est une toute petite VM linux "apacher" chez OVH : un seul core et peu de mémoire, donc il est fort possible que je n'arrive pas aux prérequis !

Dommage : j'arrive à faire du LHC sixtrack et du LHC native theory qui utilise un genre de docker, donc j'avais bon espoir !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 28 août 2019 à 22:09
Tiens, WUProp ne comptabilise pas mes crunchs des dernières 24h pour QuChemPedIA !?  :eek:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 29 août 2019 à 10:26
Me dis pas que WUProp le comptabilisait *déjà* ?? :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 29 août 2019 à 11:54
Je vais annuler tous les WU en cours, car j'ai l'impression qu'elles vont tous échoué pour en lancer des nouvelles que j'espère vont réussir.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 29 août 2019 à 13:35
Je vais annuler tous les WU en cours, car j'ai l'impression qu'elles vont tous échoué pour en lancer des nouvelles que j'espère vont réussir.
Voila c'est fait toute mes UT annuler.
Et je viens de récupérer la V0.03.  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 29 août 2019 à 15:09
Toutes les V0.03 sont parties en erreur sur mon I7 ubuntu 18.04 (ID 20)
j'ai ce message dans le stderr output:
*** WARNING : deprecated key derivation used.
Using -iter or -pbkdf2 would be better.

chose curieuse, j'ai eu des t8 pour 8 threads alors que j'ai reçu des t4 pour 40 threads sur mon autre ordi.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 29 août 2019 à 15:14
Toutes les V0.03 sont parties en erreur sur mon I7 ubuntu 18.04 (ID 20)
j'ai ce message dans le stderr output:
*** WARNING : deprecated key derivation used.
Using -iter or -pbkdf2 would be better.

chose curieuse, j'ai eu des t8 pour 8 threads alors que j'ai reçu des t4 pour 40 threads sur mon autre ordi.

Le warning c'est pas un problème. C'est juste que logiciel n'arrive pas allouer les 8 coeurs (un coeur qui est déja trop utilisé?). Par contre les 40 threads  :eek:. Tu peut me donne le nom de la tâche ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 29 août 2019 à 15:25
tache 6912
son nom: dsgdb9nsd_nwchem,bath19,dsgdb9nsd_062013,nwchem,1567073125_0
parmr les 64 que j'ai reçues, toutes des t4
les calculs ont l'air de bien se dérouler.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 29 août 2019 à 17:30
Me dis pas que WUProp le comptabilisait *déjà* ?? :D
Oui, WUProp les comptabilisait mais maintenant ça ne progresse plus !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 29 août 2019 à 17:36
Me dis pas que WUProp le comptabilisait *déjà* ?? :D
Oui, WUProp les comptabilisait mais maintenant ça ne progresse plus !

C'est peut être du a cause que les calculs ne sont pas validé.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 29 août 2019 à 17:42
Ça n'a rien à voir avec la validation: WUprop comptabilise les heures passées à calculer sur un projet. Mais si l'application a changé de nom, il faut d'abord une validation manuelle par Sébastien avant que la nouvelle appli n'apparaisse.

Je viens de vérifier dans mon compte WUprop (une UT est passée depuis que le taf sur QuChemPedIA a repris), et je n'ai rien non plus.
L'ancienne appli s'appelait "NWChem VM", la nouvelle est "NWChem 0.02 (t2)" (chez moi).

Conclusion: On reprend les heures à zéro :D (chouette, des applis supplémentaires pour des étoiles supplémentaires :bounce: )
Heureusement que la précédente était déjà rubis chez moi :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 29 août 2019 à 17:44
Calculer et valider.
Citer
29 Aug 2019, 10:28:13 UTC    29 Aug 2019, 15:42:07 UTC    Terminé et validé    18,834.00    108,555.60    1,131.53    NWChem v0.03 (t8)
x86_64-pc-linux-gnu
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 29 août 2019 à 17:47
Ça n'a rien à voir avec la validation: WUprop comptabilise les heures passées à calculer sur un projet. Mais si l'application a changé de nom, il faut d'abord une validation manuelle par Sébastien avant que la nouvelle appli n'apparaisse.

Je viens de vérifier dans mon compte WUprop (une UT est passée depuis que le taf sur QuChemPedIA a repris), et je n'ai rien non plus.
L'ancienne appli s'appelait "NWChem VM", la nouvelle est "NWChem 0.02 (t2)" (chez moi).

Conclusion: On reprend les heures à zéro :D (chouette, des applis supplémentaires pour des étoiles supplémentaires :bounce: )
Heureusement que la précédente était déjà rubis chez moi :D

oui la nouvelle app s’appelle nwchem (NWChem) au lieu de nwchem_vm (NWChem VM) comme il y a plus de vm pour linux.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 29 août 2019 à 18:07
Serait-il possible d'accepter d'autres membres? J'ai mon code d'activation mais impossible de me créer de compte... :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 29 août 2019 à 21:00
4, 40, tu chipotes :)

Et oui c'est pas simple la mise au point d'application !!

Dommage qu'il aime pas ma petite VM minux...
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 29 août 2019 à 22:08
Ça n'a rien à voir avec la validation: WUprop comptabilise les heures passées à calculer sur un projet. Mais si l'application a changé de nom, il faut d'abord une validation manuelle par Sébastien avant que la nouvelle appli n'apparaisse.

Je viens de vérifier dans mon compte WUprop (une UT est passée depuis que le taf sur QuChemPedIA a repris), et je n'ai rien non plus.
L'ancienne appli s'appelait "NWChem VM", la nouvelle est "NWChem 0.02 (t2)" (chez moi).

Conclusion: On reprend les heures à zéro :D (chouette, des applis supplémentaires pour des étoiles supplémentaires :bounce: )
Heureusement que la précédente était déjà rubis chez moi :D
Sur WUProp, j'a bien la ligne "NWChem VM" avec les anciennes UT (qui reste à zéro/24h) mais je n'ai pas de nouvelle ligne avec "NWChem 0.02 (t4)" ou "NWChem 0.03 (t4)" !  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 29 août 2019 à 23:37
Ça va viendre, franky ;)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 30 août 2019 à 08:29
Ce matin j'ai une UT validée sur chacun de mes 2 PC qui participent à la béta  :sun:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 30 août 2019 à 09:28
Conclusion: On reprend les heures à zéro :D (chouette, des applis supplémentaires pour des étoiles supplémentaires :bounce: )
Heureusement que la précédente était déjà rubis chez moi :D
Wé bon c'est moyen quand même c'est censé être une appli qui fait la même chose depuis le début, je vois pas pourquoi un changement de version veut dire nouveau nom et compteurs à 0.

Ça va que c'est une appli en test et c'est pas vraiment significatif, mais c'est pas le seul projet à faire ça, à force les étoiles voudront plus dire grand chose...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 30 août 2019 à 09:51
J'ai examiné les statistiques sur les tâches (t2) pour Linux - moins de 400 Mo de mémoire + 2 Go de swap.

Est-il possible de réduire légèrement l'utilisation de la mémoire de l'ordinateur, de 2048.49 à au moins 1900 Mo? Ensuite, le monoprocesseur Minux pourra obtenir la tâche (t1)  ;o)

En ce qui concerne le nom "NWChem 0.02 (t2)" - les statistiques ne prennent pas en compte le numéro de version et le nom de la classe de plan, mais uniquement le nom de l'application (ligne bleue sur la page de l'application). Nous devons informer Sebastian - ceci est une nouvelle application, ou encore il est nécessaire de le considérer comme l'ancien "NWChem VM" (il existe des versions avec VirtualBox)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 30 août 2019 à 10:01
Ça va viendre, franky ;)
Hé bien non, toujours pas !? Pourtant, cela fait 3 jours que je crunche les nouvelles UT !  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 30 août 2019 à 10:37
Sébastien doit être absent ou trop pris par son taf IRL :spamafote:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 30 août 2019 à 15:03
J'ai examiné les statistiques sur les tâches (t2) pour Linux - moins de 400 Mo de mémoire + 2 Go de swap.

Est-il possible de réduire légèrement l'utilisation de la mémoire de l'ordinateur, de 2048.49 à au moins 1900 Mo? Ensuite, le monoprocesseur Minux pourra obtenir la tâche (t1)  ;o)
Ça serait très gentil pour lui :D

Sébastien doit être absent ou trop pris par son taf IRL :spamafote:
Sébastien travaille dans l'ombre, gardons la foi et peut-être que soudain hop ça va se corriger :)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 31 août 2019 à 08:14
Le warning c'est pas un problème. C'est juste que logiciel n'arrive pas allouer les 8 coeurs (un coeur qui est déja trop utilisé?). Par contre les 40 threads  :eek:. Tu peut me donne le nom de la tâche ?
Problème résolu pour l'I7: je suis passé de 8 threads à 7 alloués à BOINC et il ne fait plus qu'une tache t4 à la fois et ça passe.
Pour l'autre ordi je me suis peut être mal exprimé. C'est l'ordi qui a 40 threads pas la tache.  :desole:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: tdeze le 31 août 2019 à 16:54
J'ai examiné les statistiques sur les tâches (t2) pour Linux - moins de 400 Mo de mémoire + 2 Go de swap.

Est-il possible de réduire légèrement l'utilisation de la mémoire de l'ordinateur, de 2048.49 à au moins 1900 Mo? Ensuite, le monoprocesseur Minux pourra obtenir la tâche (t1)  ;o)
Ça serait très gentil pour lui :D

Sébastien doit être absent ou trop pris par son taf IRL :spamafote:
Sébastien travaille dans l'ombre, gardons la foi et peut-être que soudain hop ça va se corriger :)

J'ai diminué la demande de ram a 1900 mo et ajouter à l'application la possibilité de fonctionner sur 1 coeur. Peut tu me dire si tu arrive a récupérer des jobs ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 31 août 2019 à 17:27
récupéré une tache t1 sur un vieil AMD  :)
ubuntu 16.04 2.7 Go de RAM mais le système en bouffe déjà pas mal...
Durée estimée: 3 jours
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 août 2019 à 21:00
J'ai diminué la demande de ram a 1900 mo et ajouter à l'application la possibilité de fonctionner sur 1 coeur. Peut tu me dire si tu arrive a récupérer des jobs ?
Il dit qu'il faut 2048,49 MB pour avoir des tâches et que l'hôte n'en a que 1858,54 MB, j'ai réussi à augmenter la mémoire max allouée à boinc mais ça coince quand même à 1917,23 MB.

J'ai fait un reset du projet mais pareil.

On dirait que ça ne lit pas ton changement de paramètres. C'est peut-être stocké *dans* les paramètres des tâches déjà générées et il faut attendre de nouvelles tâches ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: mamouth le 03 septembre 2019 à 10:24
Elles sont longues les tâches , très longues surtout pour une période de tests et de mise au point d'un projet

Il n'y a pas la possibilité de créer des tâches plus courtes durant cette période ?

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 03 septembre 2019 à 10:38
Le serveur dispose d’un mécanisme très utile pour l’application actuelle: les tâches multi-threading.
Pour ce faire, activez les options avancées dans les préférences utilisateur - le choix du nombre de CPU par tâche et du nombre de tâches simultanées apparaîtra.
Une seule version de l'application restera - (vbox64_mt) ou (native_mt). Et le paramètre pour chaque tâche est <cmdline> --nthreads N </cmdline>.
vbox_wrapper crée une machine virtuelle avec le nombre de processeurs requis (et un paramètre supplémentaire <cmdline> --memory_size_mb a + b * N </cmdline> pour la quantité de mémoire). La tâche obtient le nombre de processeurs pour calculer le nombre de threads.
Un wrapper standard (native_mt) devrait traduire ce paramètre en une forme compréhensible pour l'application de calcul.

PS (native_mt), l'application doit comprendre les commandes standard - pause / work. Maintenant, le script les ignore.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 septembre 2019 à 11:29
@SVojna : je suis pas bien sûr de comprendre, ça se fait tout seul via un simple paramètre sur le compte, ou il faut bidouiller des fichiers config ?

@tdeze : tu as vu mon message au dessus ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 03 septembre 2019 à 12:23
J'ai décrit le mécanisme standard présent dans le serveur de projet. De nouvelles options apparaissent sur la page des paramètres utilisateur, dans la section des paramètres du projet (https://quchempedia.univ-angers.fr/athome/prefs.php?subset=project). Ils peuvent être vus sur le LHC et maintenant ils sont apparus sur PrimeGrid

Mais si ces paramètres et l'application qui les exécute (wrapper) sont standard, ils peuvent être redéfinis localement dans app_config.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 septembre 2019 à 15:35
Ah ok pour le moment ce n'est pas le cas sur le site QuChemPedIA, on a que les quelques options classiques dans les préférences projet.

Mais si je comprends bien ça a déjà été implémenté automatiquement puisque les collègues reçoivent des t4 ou des t8... ou alors vous avez tous bidouillé à grand coup de app_config ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: marmot le 03 septembre 2019 à 20:21
Me dis pas que WUProp le comptabilisait *déjà* ?? :D

Yes, the first machine running these was running WUProps. 
Unless WUProps has spies everywhere?!?  :desole:


However, now WUProps is not counting the hours for the 3 WU this machine has worked on.


Ooops, tdeze said:
Citer
oui la nouvelle app s’appelle nwchem (NWChem) au lieu de nwchem_vm (NWChem VM) comme il y a plus de vm pour linux.

Guess that also meant Sebastian at WUProps had been contacted and had the entry already in the DB.
I'm really irritated with myself now for missing the first deadline and not getting the 100 hours on that 1st WU name...


Anyway, my test laptop is on the 3rd WU.  The first was invalid (maybe it was suspended too many times from "Compute only between" hours?) The 2nd completed fine.
The other 3 machines, one blew a motherboard, 2 others are only on for summer hours from 12am till 8 am. 
I'll try some on them if the deadline isn't too short.

Questions: 
1) When are the forums at the project website to be brought online? 
2) Is that much trouble?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 septembre 2019 à 09:25
Bonjour mon cher marmot, déjà tu pourrais utiliser google trad (ou mieux : deepl) pour poster en français. Certes les lecteurs peuvent aussi le faire dans l'autre sens, mais nous sommes sur un forum (très) francophone, c'est un "détail" fort apprécié ;)

Ensuite ce projet en est toujours à une phase de mise au point / alpha (je me trompe peut-être mais je ne pense pas que damotbe le considère déjà comme béta ?), je pense qu'ils ont d'autres chats à fouetter (miaou !) que de se mettre à gérer et modérer un forum (avec tout le temps que ça prend, sisi) pour répondre à ces crazy crunchers qui ont toujours des problèmes :)

AMHA, l'énergie est utilisée pour l'instant à stabiliser le software et proposer une offre complète multi-plateforme, c'est déjà un sacré boulot.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 septembre 2019 à 15:29
Bonjour  :hello:

Actuellement Théo a fini sont stage et le projet est en roue libre.
Je regarde de loin si ça tourne toujours en sachant que les résultats seront utiles (longs mais utiles), mais je n'ai pas le temps pour continuer le développement et encore moins pour un forum.

Si on considère que l'alpha est quelque chose de local pour le développement et les tests, on est bien passé en bêta (fermée) avec un panel de testeurs à plus grande échelle.
Dans les faits, c'est là que ça coince, mais regardons le verre à moitié plein :
- le serveur est en place et est capable de générer et gérer les tâches
- l'application fonctionne correctement et nous renvoie des résultats scientifiquement exploitable

Ce qui coince au final:
- les calculs sont longs (mais c'était attendu) et la moindre erreur pénalise le cruncher testeur bénévole (en terme de points). Il faut savoir que le code du simulateur peut planter ou sortir une erreur à cause de la question posée en chimie (problème de convergence par exemple). De mon point de vue, l'application fonctionne plutôt bien (cad. comme sur une machine sans Boinc).
- certains crunchers n'arrivent pas à utiliser l'application (à vérifier) ? ou n'arrive pas à rentrer dans les requis (OS, VM, cœurs ou mémoire).

Propositions réalisables pour transformer le tout en succès :
- faire le point sur la proportion des testeurs qui ont réussi à faire tourner l'application avec succès ou avec un résultat invalide après un gros temps de calcul (signifie que le code s'exécute)
- il faudrait donner des points même en cas d'erreur pour récompenser les temps de calcul très importants (si quelqu'un peut m'expliquer comment faire, je peux bidouiller ça je pense)
- mettre en place le badge bêta testeur et les badges pour les points

D'autres idées ou recommandations ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Antares le 05 septembre 2019 à 15:56
Ça nécessite toujours une VM?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 septembre 2019 à 16:02
Ça nécessite toujours une VM?

D'après les transmissions de Théo, oui pour Windows et MAC, non pour Linux
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Antares le 05 septembre 2019 à 17:02
Dommage...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 septembre 2019 à 17:53
Salut damotbe et merci pour le point de situation détaillé.

Théo avait eu l'air de dire qu'il était en train de changer les applis win et mac pour plus nécessiter de VM comme sur linux, ou j'ai rêvé ? donc il aura pas fini... faut trouver un autre stagiaire aussi performant !! d'ailleurs y'a pas encore d'appli Mac, ou si ?? (auquel cas faut que j'ouvre les vannes sur le Mac !!! là les prérequis je suis bon !)

Sinon la seule remarque que j'ai (et qui à mon avis est un quick win !) : les prérequis pour pouvoir récupérer des tâches sont trop conservateurs (il demande 2 Go de RAM alors qu'il en utilise moins de 1 si j'ai bien compris, il veut plus de 1 seul core... pourquoi tant de laine ? ) et Théo avait écrit ici plus haut qu'il avait baissé le prérequis, mais ma petite VM linux n'arrive quand même pas à en récupérer.
Donc il a ptet pas fait le réglage au bon endroit, ou y'a ptet plusieurs endroits... (global / appli / version... ? )

Pour le moment j'ai pas pu vous aider.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 06 septembre 2019 à 09:23
- il faudrait donner des points même en cas d'erreur pour récompenser les temps de calcul très importants (si quelqu'un peut m'expliquer comment faire, je peux bidouiller ça je pense)
. . .
D'autres idées ou recommandations ?
trickle-messages à chaque heure de travail et bonus pour le nombre de cœurs par heure

encore

établir des commandes de pause / arrêt et continuer  (Linux native)

points de contrôle et continuation après un arrêt / rechargement

l'application universelle (mt) que j'ai proposée ci-dessus et le choix de préférence du nombre de cœurs (en tant que paramètre de la tâche)

calcul de la mémoire pour chaque tâche sous la forme "a + b * N" (base de lancement plus pour chaque cœur) - paramètre de création d'une machine virtuelle

@JeromeC
J'ai ajouté de la mémoire pour les ordinateurs virtuels de 2 Go + 120 Mo et une charge complète de tous les processeurs sans possibilité d'arrêt. J'ai dû quitter le PC toute la nuit pour ce monstre gourmand
PS Je peux télécharger mon Linux sur le PC "Iron" et sur la machine virtuelle - J'ai configuré le téléchargement PXE à partir du serveur.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 06 septembre 2019 à 09:55
@JeromeC
J'ai ajouté de la mémoire pour les ordinateurs virtuels de 2 Go + 120 Mo et une charge complète de tous les processeurs sans possibilité d'arrêt. J'ai dû quitter le PC toute la nuit pour ce monstre gourmand
Je ne suis pas sûr de comprendre : combien de RAM une tâche utilise réellement ? pourquoi as-tu dû "ajouter de la mémoire" ?

Je me réfère à ce qu'avait dit tdeze :
J'ai diminué la demande de ram a 1900 mo et ajouter à l'application la possibilité de fonctionner sur 1 coeur. Peut tu me dire si tu arrive a récupérer des jobs ?
malheureusement ça n'avait rien donné, j'en avais parlé ensuite, mais je pense que c'est à ce moment qu'il est parti :/


Citer
PS Je peux télécharger mon Linux sur le PC "Iron" et sur la machine virtuelle - J'ai configuré le téléchargement PXE à partir du serveur.
Ca en revanche j'ai rien compris :)
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 06 septembre 2019 à 10:35
- il faudrait donner des points même en cas d'erreur pour récompenser les temps de calcul très importants (si quelqu'un peut m'expliquer comment faire, je peux bidouiller ça je pense)
. . .
D'autres idées ou recommandations ?
trickle-messages à chaque heure de travail et bonus pour le nombre de cœurs par heure

encore

établir des commandes de pause / arrêt et continuer  (Linux native)

points de contrôle et continuation après un arrêt / rechargement

l'application universelle (mt) que j'ai proposée ci-dessus et le choix de préférence du nombre de cœurs (en tant que paramètre de la tâche)

calcul de la mémoire pour chaque tâche sous la forme "a + b * N" (base de lancement plus pour chaque cœur) - paramètre de création d'une machine virtuelle

Je ne comprends pas tout ce que tu écris. Par le passé, j'ai travaillé avec l'API pour faire une application Boinc native. C'est effectivement mieux et plus souple. Par contre, ce n'ai pas envisageable avant d'avoir un autre stagiaire (ou un développeur bénévole) pour s'en charger.
Du coup, pas de point de sauvegarde pour le moment, d'où le choix des VM au début.

Je me réfère à ce qu'avait dit tdeze :
J'ai diminué la demande de ram a 1900 mo et ajouter à l'application la possibilité de fonctionner sur 1 coeur. Peut tu me dire si tu arrive a récupérer des jobs ?
malheureusement ça n'avait rien donné, j'en avais parlé ensuite, mais je pense que c'est à ce moment qu'il est parti :/

Oui et il ne m'a rien dit à ce sujet. Malheureusement, c'est le genre de chose que je vais avoir du mal à changer., mais je note pour regarder ça quand j'aurai du temps.
Idem, pour les versions sans VM pour MAC et Windows. Sans Théo ... Rien que le temps de comprendre et apprendre, c'est compliqué de s'attaquer sérieusement à ça. Pourtant j'aimerais bien  :/

Si je fais le point sur les personnes ayant des tâches valides et leur OS :

Les 3 OS fonctionnent!!!  :yaya:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 06 septembre 2019 à 13:20
@JeromeC
La tâche nécessite toujours que l'ordinateur dispose de 2 048,49 Mo de mémoire (cela peut être considéré comme une erreur dans les journaux de mon ordinateur avec 2 Go).
Dans mon Ubuntu sur une "vraie" machine, BOINC ne voit que 1,95 Go
Votre Minix n'indique que 1,91 Go
Afin d’obtenir la tâche, j’ai créé une machine virtuelle avec une mémoire supérieure à 2 Go et y ai chargé mon Ubuntu avec BOINC
Vous pouvez (si vous le pouvez) ajouter de la mémoire à votre Minix ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: SVojna le 06 septembre 2019 à 13:42
@damotbe

Vous avez créé de nombreuses versions de l'application pour différents nombres de cœurs.
J'essaie d'expliquer comment ne laisser qu'un seul pour chaque système d'exploitation.
Le nombre de cœurs de chaque tâche est sélectionné par l'utilisateur sur la page de préférences (ou le nombre maximal de BOINC disponibles).
La tâche reçoit la quantité en tant que paramètre d'entrée.

Tout ce mécanisme fonctionne très bien sur des projets avec VBox (via le standard vbox_wrapper)

La tâche sans VBox devrait elle-même définir le paramètre et démarrer le nombre requis de threads.

La seconde est l'exécution de commandes standard BOINC
La tâche de Linux ne s’arrête pas - uniquement en déchargeant le client BOINC lui-même. Ensuite, cela commence dès le début.
Titre: Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: marmot le 07 septembre 2019 à 01:25
- il faudrait donner des points même en cas d'erreur pour récompenser les temps de calcul très importants (si quelqu'un peut m'expliquer comment faire, je peux bidouiller ça je pense)
. . .
D'autres idées ou recommandations ?
trickle-messages à chaque heure de travail et bonus pour le nombre de cœurs par heure

C'est ce que font le DHEP, Climate Prediction, RNA World et some d'autres projets.  Je pense que BOINC Docker VM a la capacité.  Le WU contacte le serveur avec le rapport d'avancement et l'utilisateur reçoit du crédit par heure avec un crédit supplémentaire par CPU-core utilisé.  Un autre développeur de projet peut-être part le code/algorithmes.
 
Citer
établir des commandes de pause / arrêt et continuer  (Linux native)
points de contrôle et continuation après un arrêt / rechargement

Native Linux version ne laissera pas l'utilisateur la mettre en pause sans le casser?

J'ai un 4 core, 1 GB RAM anti-X Linux (OS a besoin de 256 MB) VM en cours d'exécution sur mon ordinateur portable de test Windows 7.  Je vais l'attacher au projet, voir si elle exécute un WU natif et prendre des notes sur la quantité de RAM utilisé. Je peux faire une pause et enregistrer l'état de mon Linux VM.  Cela peut éviter que la commande de pause WU native ne fonctionne pas (nécessité d'arrêter tous les travaux BOINC en chaleur de l'après-midi pendant l'été; les tarifs d'électricité sont 4fois plus élevés)


Citer
l'application universelle (mt) que j'ai proposée ci-dessus et le choix de préférence du nombre de cœurs (en tant que paramètre de la tâche)

Cela signifie utiliser le maximum intégré WU téléchargé sur une option machine et le maximum CPU-cœurs autorisés option sous les préférences des utilisateurs pour le dernier logiciel serveur BOINC?


Citer
Les 3 OS fonctionnent!!!  :yaya:

 :D

(1 hour to properly translate this from English to French... la sigh)
Titre: Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: MortelKni le 07 septembre 2019 à 11:14
[...]

Si je fais le point sur les personnes ayant des tâches valides et leur OS :
  • [AF>Libristes] erik - x86_64-pc-linux-gnu
  • Cocagne - x86_64-apple-darwin - x86_64-pc-linux-gnu - windows_x86_64
  • fzs600 - x86_64-pc-linux-gnu - windows_x86_64
  • [AF>Occitania]franky82 - windows_x86_64
  • [AF>Belgique]Mamouth - windows_x86_64
  • Sergey Kovalchuk - x86_64-pc-linux-gnu
  • marmot - windows_x86_64
  • [AF] fansyl - windows_x86_64
  • modesti - x86_64-pc-linux-gnu
  • [AF>Libristes] Pascal - x86_64-pc-linux-gnu
  • [AF>Libristes]MortelKni - x86_64-pc-linux-gnu ???

Les 3 OS fonctionnent!!!  :yaya:

Les tâches n'ont tourné que sur du Windows pour le moment ( cf https://quchempedia.univ-angers.fr/athome/results.php?userid=15 ), je ne sais pas si c'est une erreur de copie ou de remontée d'info ^^

En tout cas bon courage pour la suite, je continuerai à zieuter ça.
Par contre sous Windows c'est hyper compliqué, dès que les applis utilisent une VM, le PC devient inutilisable (jusqu'a être impossible à déverrouiller, obligé de passer par un reset). Je ne sais pas si il y a moyen de passer des arguments à la VBox en disant qu'elle ne peut pas utiliser ses coeurs à plus de 90% par exemple ?

EDIT : Maintenant il va y avoir des tâches sous linux, j'y avait pas pensé mais en mettant une VM sous debian je peux régler direct le % max d'utilisation de VBOX, du coup plus de problèmes !  :hyperbon:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 07 septembre 2019 à 11:39
Je ne crunche que sur Windows.
Les tâches sont de plus en plus longues :
- avant, je finissais une UT en 10h environ (vbox64_t4),
- maintenant, je dépasse 1 jour et demi et même 4 jours et demi sur une UT vbox64_t1 !
Mais pas de problème, je continue à cruncher sur ce projet pour faire avance le Schmilblick !  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Cocagne le 07 septembre 2019 à 16:09
Petite erreur je n'ai pas d'unité sous linux dans celles comptées valide par le projet.
Sinon pour rassurer Jéjé sur mac:

https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=6862

C'est long mais ça calcule et ça valide.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 07 septembre 2019 à 16:14
[...]
- maintenant, je dépasse 1 jour et demi et même 4 jours et demi sur une UT vbox64_t1 !
[...]
Si tu crains les UT longues, ne fais pas de RNA :D J'en ai une qui tourne depuis 40 jours et qui en a encore pour ~10 jours (en VM) ;)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 07 septembre 2019 à 16:31
Si tu crains les UT longues, ne fais pas de RNA :D J'en ai une qui tourne depuis 40 jours et qui en a encore pour ~10 jours (en VM) ;)
C'est pour ça que j'ai arrêté RNA : c'était bien trop long !  :eek:
(4 - 5 jours max, pour moi)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 08 septembre 2019 à 13:23
@damotbe et cocagne : m'enfin y'a des des tâches macOS et personne ne m'avait rien dit ??? :cry:

Je teste ça de suite !!

----
Edith : bon ben j'ai récupéré une tâche... à 2 CPU... pourquoi tant de haine ? pourquoi pas 8 ?
----

@marmot : utilises https://www.deepl.com/translator !

@SVojna et les autres : mais combien de RAM la tâche maximum la tâche utiliser *réellement* durant son exécution ?

@damotbe : je comprends bien que le taff fait par un dev, et pas fini, est certainement très compliqué à reprendre... et ce même si on a exactement le même niveau que lui... c'est pas grave, tu fais au mieux, et j'espère que tu trouveras un autre stagiaire !!
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 08 septembre 2019 à 14:01
@marmot : utilises https://www.deepl.com/translator !
Oui, cause que c'est mieux.  :desole:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Cocagne le 08 septembre 2019 à 18:03
@damotbe et cocagne : m'enfin y'a des des tâches macOS et personne ne m'avait rien dit ??? :cry:

Je teste ça de suite !!

----
Edith : bon ben j'ai récupéré une tâche... à 2 CPU... pourquoi tant de haine ? pourquoi pas 8 ?
----

@marmot : utilises https://www.deepl.com/translator !

@SVojna et les autres : mais combien de RAM la tâche maximum la tâche utiliser *réellement* durant son exécution ?

@damotbe : je comprends bien que le taff fait par un dev, et pas fini, est certainement très compliqué à reprendre... et ce même si on a exactement le même niveau que lui... c'est pas grave, tu fais au mieux, et j'espère que tu trouveras un autre stagiaire !!

ça veut bétatester et ça surveille pas, pas bien ça!!!!
j'en ai eu qu'à 2 et 4 cores et je préfère personnellement
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 08 septembre 2019 à 18:34
Je n'ai plus que du t2, ils vont durer largement plus de 2 jours et quasiment tous mes cpus sont à l'arrêt :eek:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 08 septembre 2019 à 18:47
ça veut bétatester et ça surveille pas, pas bien ça!!!!

(https://i.gifer.com/Ilq.gif)

Citer
j'en ai eu qu'à 2 et 4 cores et je préfère personnellement
Bon pour l'instant ça tourne.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 09 septembre 2019 à 09:43
Je n'ai plus que du t2, ils vont durer largement plus de 2 jours et quasiment tous mes cpus sont à l'arrêt :eek:

C'est étrange cette affaire ! Comme si l'application avait une préférence pour 2 cœurs en particulier... C'est nouveau ? C'est depuis que l'application n'est plus en VM peut-être ? 

Je ne crunche que sur Windows.
Les tâches sont de plus en plus longues :
- avant, je finissais une UT en 10h environ (vbox64_t4),
- maintenant, je dépasse 1 jour et demi et même 4 jours et demi sur une UT vbox64_t1 !
Mais pas de problème, je continue à cruncher sur ce projet pour faire avance le Schmilblick !  :kookoo:

merci de ton aide. Les temps de calcul dépendent de la molécule testée et les écarts peuvent être impressionnants. Si en plus de celà tu passes de 4 threads (t4) à 1 thread (t1), c'est l'horreur !

Les tâches n'ont tourné que sur du Windows pour le moment ( cf https://quchempedia.univ-angers.fr/athome/results.php?userid=15 ), je ne sais pas si c'est une erreur de copie ou de remontée d'info ^^

En tout cas bon courage pour la suite, je continuerai à zieuter ça.
Par contre sous Windows c'est hyper compliqué, dès que les applis utilisent une VM, le PC devient inutilisable (jusqu'a être impossible à déverrouiller, obligé de passer par un reset). Je ne sais pas si il y a moyen de passer des arguments à la VBox en disant qu'elle ne peut pas utiliser ses coeurs à plus de 90% par exemple ?

EDIT : Maintenant il va y avoir des tâches sous linux, j'y avait pas pensé mais en mettant une VM sous debian je peux régler direct le % max d'utilisation de VBOX, du coup plus de problèmes !  :hyperbon:

Comme tes ordis étaient cachés et vue ta team, j'en avais déduit du Linux  :lol:
Je n'ai pas toujours de remontée d'infos cohérentes avec l'interface d'administration de Boinc...

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 09 septembre 2019 à 09:54
J'avais effectivement du t8 en VM.
Sinon je ne me souviens plus exactement mais c'est relativement nouveau, quelques jours tout au plus. J'ai eu du t8, puis du t4 et maintenant du t2.
J'ai une t8 prête à démarrer.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 09 septembre 2019 à 20:32
Bon ben y'a comme un soucis : j'ai eu la tâche hier en début d'après midi, qui tournait depuis le début... et là j'arrive et j'ai toujours une tâche qui tourne soit disant depuis 8h30 et aucun tâche n'a été terminée ni renvoyée... genre soit elle se réinitialise et tourne en boucle, soit elle aurait été suspendue genre 24h et juste elle repart alors que j'arrive ? je n'en crois rien...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 09 septembre 2019 à 20:48
Bon, mon UT vbox64_t4 a fini en 3 jours... en erreur
et mon UT vbox64_t1 crunche toujours : 6 jours et demi et toujours à 99 % !
Mais la nouvelle UT vbox64_t4 est à 60 % en 8h30 !

Et ça y est, NWChem apparaît enfin sur WUProp (en plus de NWChem VM) !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 09 septembre 2019 à 22:31
Bon ben voila j'ai craqué, j'ai upgradé mon petit serveur OVH pour un 2 core / 8 Go de RAM... la faute à qui hein la faute à qui ???? :siflotte:

Le prix fait x3 quand même, ça reste raisonnable mais bon, boinc sera ma perte :D

J'ai récupéré illico un wagonnet de tâches, wait & see ;)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 10 septembre 2019 à 11:10
Pour la documentation des crédits je suis tombé la-dessus : https://boinc.berkeley.edu/trac/wiki/CreditOptions (https://boinc.berkeley.edu/trac/wiki/CreditOptions)

et je me sens pas plus avancé  :priz2tet:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 10 septembre 2019 à 16:52
Peut-être que l'admin de RNA peut t'aider à ce propos? Ce projet donne aussi des crédits pour des UT finies en erreur de calcul ou abandonnées en cours de route.
Exemple, celle-ci (http://www.rnaworld.de/rnaworld/workunit.php?wuid=6330822)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 10 septembre 2019 à 20:33
Ayé fini ma première tâche sur minux !! enfin... \o/

Ah oui, comment dire, celle du Mac... elle court toujours !!

(https://i.gifer.com/1Q.gif)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 10 septembre 2019 à 21:14
Ah oui, comment dire, celle du Mac... elle court toujours !!
Mon UT vbox64_t1 aussi !  :priz2tet:
#sansfin
Titre: Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: marmot le 11 septembre 2019 à 00:12

Par contre sous Windows c'est hyper compliqué, dès que les applis utilisent une VM, le PC devient inutilisable (jusqu'a être impossible à déverrouiller, obligé de passer par un reset). Je ne sais pas si il y a moyen de passer des arguments à la VBox en disant qu'elle ne peut pas utiliser ses coeurs à plus de 90% par exemple ?


Si vous dites à BOINC Manager de n'utiliser que 90% du CPU (vue avancée : options -> préférences de calcul -> calcul -> utiliser au maximum), il devrait passer ce pourcentage sur la machine virtuelle.  Vous pouvez confirmer en ouvrant la boîte virtuelle, en cliquant sur la VM de NWChem et en regardant Paramètres -> Capuchon d'exécution.  C'est l'un des rares paramètres qui peuvent être modifiés pendant le fonctionnement de la VM.  Vous pourriez être en mesure de contrôler manuellement cela et de ne pas interrompre l'exécution de WU.

Traduit avec www.DeepL.com/Translator

Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: marmot le 11 septembre 2019 à 01:40
Pour la documentation des crédits je suis tombé la-dessus : https://boinc.berkeley.edu/trac/wiki/CreditOptions (https://boinc.berkeley.edu/trac/wiki/CreditOptions)

et je me sens pas plus avancé  :priz2tet:
DHEP, Climate Prediction, RNA World (boîte virtuelle) et d'autres projets ont déjà permis d'accumuler des crédits.  Pas besoin de réinventer la roue, peut-être qu'un des administrateurs/devs offrira la solution gratuitement ?

Je n'ai plus que du t2, ils vont durer largement plus de 2 jours et quasiment tous mes cpus sont à l'arrêt :eek:

C'est étrange cette affaire ! Comme si l'application avait une préférence pour 2 cœurs en particulier... C'est nouveau ? C'est depuis que l'application n'est plus en VM peut-être ? 


J'ai réglé ma VM Linux antiX faite à la main sur 2 cœurs, 4 cœurs et 8 cœurs et j'ai redémarré la machine.  Enregistré tous les détails du fichier client_state.xml au fur et à mesure que les WU's arrivaient (et ont été annulés parce que c'était une expérimentation).  A 2 coeurs, le serveur avait tendance à envoyer des paires de 1 coeurs WU's.  A 4 coeurs, le serveur envoyait une paire de 2 coeurs mais parfois 4 coeurs.  A 8 cœurs,  le serveur envoyait toujours 8 cœur WU's. (mais mon expérimentation a été limitée. Les résultats de l'ensemble de données de client_state.xml affichés à la fin).


@marmot : utilises https://www.deepl.com/translator !
Merci, ça a mieux fonctionné bien qu'il ait eu des problèmes avec l'utilisation des mots en informatique (threads, cores, a continué d'essayer de donner au serveur ou à VM un genre masculin au lieu d'un genre non sexiste).   Aussi que le mot "experiment" n'est proposé qu'à titre "d'expérience" ou "d'expérimentation" pour une raison idiote.


@SVojna et les autres : mais combien de RAM la tâche maximum la tâche utiliser *réellement* durant son exécution ?

Chaque thread nwchem commence avec 146 MiB dans ma distribution linux.  Il est passé à 156 Mo par thread après 1 heure.  (J'ai arrêté l'expérience après 1 heure et je ferai d'autres tests dans 2 jours après que les WU Windows NWChem seront terminés.)  Chaque thread réclame 1.2GiB de mémoire pour une utilisation potentielle.  Il faudra encore de nombreux jours pour regarder les threads WU afin de voir quelle RAM maximale ils prennent réellement. 

L'emballage NWchem vérifie si vous avez 2048 Mio disponibles pour BOINC et ne négocier. 
J'ai été capable d'obtenir l'antiX VM pour exécuter NWchem à des réglages minimal 2112 MiB RAM dans la Virtual Box ; bien que la RAM maximale utilisée pour l'heure n'ait jamais dépassé 700MiB sur 4 threads NWchem.

Traduit avec www.DeepL.com/Translator

-----------------
Voici donc les résultats de client_state.xml (extrait des informations superflues). 
Remarquez comment la <classe_plan>t1</classe_plan> se poursuit accepte
<cmdline>-t4</cmdline>
ou
<cmdline>-t2</cmdline> ?

@damotbe, La classe de plan t1 avec les options cmdline est en concurrence avec les classes de plan t2 et t4 ?


<app_version>
    <app_name>nwchem</app_name>
<version_num>6</version_num>
    <platform>x86_64-pc-linux-gnu</platform>
    <avg_ncpus>1.000000</avg_ncpus>
    <plan_class>t1</plan_class>
 
    <file_ref>
        <file_name>nwchem_t1_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>2.000000</avg_ncpus>
    <plan_class>t1</plan_class>
    <cmdline>-t2</cmdline>

    <file_ref>
        <file_name>nwchem_t1_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>4.000000</avg_ncpus>
    <plan_class>t1</plan_class>
    <cmdline>-t4</cmdline>

    <file_ref>
        <file_name>nwchem_t1_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>2.000000</avg_ncpus>
    <plan_class>t2</plan_class>
   
<file_ref>
        <file_name>nwchem_t2_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>4.000000</avg_ncpus>
    <plan_class>t4</plan_class>
     
<file_ref>
        <file_name>nwchem_t4_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>
</app_version>

<app_version>
    <app_name>nwchem</app_name>
    <avg_ncpus>8.000000</avg_ncpus>
    <plan_class>t8</plan_class>
   
<file_ref>
        <file_name>nwchem_t8_worker_0.6.sh</file_name>
        <open_name>worker.sh</open_name>
        <copy_file/>
    </file_ref>

    <file_ref>
        <file_name>nwchem_vm_0.3.vdi</file_name>
    </file_ref>
</app_version>

-------------

Même avec https://www.deepl.com/translator ce message était difficile parce que deepl ne comprend pas l'usage spécifique des mots à partir des indices contextuels dont nous parlons en informatique.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 11 septembre 2019 à 10:45
Oui là il est clair qu'on a sur un vocabulaire très "pointu" sur un sujet "de niche", mais pour des gens qui "parlent l'informatique", donc on ne peut pas s'attendre qu'un traducteur "universel" s'en sorte facilement, nous n'utilisons même pas exactement les mêmes mots pour les mêmes concepts entre nous :)

Mais ne t'inquiète pas on te comprend bien !

Merci pour tous les détails que tu fournis, j'espère que ça pourra aider damotbe et son futur stagiaire :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 12 septembre 2019 à 08:01
Hier mon ordi a renvoyé 1 tache.(t2)
Le temps de CPU est très inférieur au temps écoulé  cocoricooo

https://quchempedia.univ-angers.fr/athome/result.php?resultid=7998

J'ai regardé les propriétés des tâches en cours: même phénomène.
En voici une:


Application
NWChem 0.06 (t2)
Nom
dsgdb9nsd_nwchem,bath19,dsgdb9nsd_062081,nwchem,1567213400
État
Calculs en cours
Reçu
jeu. 05 sept. 2019 01:40:13 CEST
Date limite d'envoi
jeu. 19 sept. 2019 01:40:12 CEST
Ressources
2 CPUs
Taille de tâche estimée
500 000 GFLOPs
Temps de calcul
21:28:23
CPU time since checkpoint
21:28:23
Temps écoulé
6d 03:56:59
Temps restant estimé
00:08:30
Portion effectuée
99,904%
Taille de la mémoire virtuelle
1,90 GB
Espace mémoire alloué
230,38 MB
Répertoire
slots/12
ID du process
6701
Taux de progression
0,720% par heure
Exécutable
wrapper_26014_x86_64-pc-linux-gnu
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 12 septembre 2019 à 08:54
Merci à tous pour vos retours et votre patience sur ce projet encore très expérimental. Nous venons de passer les 300 résultats exploitables grâce à votre aide ! C'est génial  :love:

Peut-être que l'admin de RNA peut t'aider à ce propos? Ce projet donne aussi des crédits pour des UT finies en erreur de calcul ou abandonnées en cours de route.
Exemple, celle-ci (http://www.rnaworld.de/rnaworld/workunit.php?wuid=6330822)
DHEP, Climate Prediction, RNA World (boîte virtuelle) et d'autres projets ont déjà permis d'accumuler des crédits.  Pas besoin de réinventer la roue, peut-être qu'un des administrateurs/devs offrira la solution gratuitement ?

Oui, il va falloir aller demander de l'aide à ceux qui connaissent une solution en espérant que la personne qui a mis en place soit toujours là. En attendant, c'est la rentrée universitaire depuis quelques jours déjà et j'ai du mal à mener tous les fronts  :pt1cable:

Hier mon ordi a renvoyé 1 tache.(t2)
Le temps de CPU est très inférieur au temps écoulé  cocoricooo

https://quchempedia.univ-angers.fr/athome/result.php?resultid=7998

Oui, ça rejoint tes autres screenshots : plusieurs tâches bloquées sur les 2 mêmes cœurs. Du coup, elles s'alternent et le temps CPU (réellement utilisé) devient très différent du temps passé. J'ai croisé Théo, on va essayer de se voir et discuter des différents sujets.

@damotbe, La classe de plan t1 avec les options cmdline est en concurrence avec les classes de plan t2 et t4 ?

Je pense que oui. Peut-être que Théo pourra me confirmer.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 12 septembre 2019 à 15:04
Bon alors ma tâche Mac (https://quchempedia.univ-angers.fr/athome/result.php?resultid=8326) s'est finalement terminée : 2j 18h de durée pour 3j 2h de temps CPU !! Car c'était une UT 2 cores, on est donc loin du compte, le CPU semble très sous-utilisé.

Et sur ma VM minux (*) en réalité augmentée j'en ai déjà fini 4 (https://quchempedia.univ-angers.fr/athome/results.php?hostid=34) en 2C aussi (mais là, j'ai pas le choix) mais là où ça devient très curieux c'est qu'une seule a un ratio cohérent durée / temps CPU (x2) et la 3 autres ont la même durée pour les deux...

tâche   durée   temps CPU
8265   17,7   33,2
8318   23,1   23,1
8391   34,6   34,6
8411   22,3   22,3

(*) je n'utilise pas minux (https://sourceforge.net/projects/minux/), c'est juste une référence culturelle :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 12 septembre 2019 à 15:25
Je pense que le code nwChem n'est pas toujours bien parallélisé et comme il y a de nombreuses étapes avec des durées très différentes d'un calcul à l'autre, on a parfois des cas un peu extrême comme ça.
De mon point de vue, le plus efficace c'est 1 thread, mais par contre c'est très long... Si on met plus de thread on prend le risque de sous-utilisation  :/

C'est vraiment pas top comme software comparativement au logiciel propriétaire qu'on utilise en privé...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 12 septembre 2019 à 15:26
Minix ?
[HS]
https://linuxfr.org/news/entretien-avec-andrew-tanenbaum-a-propos-de-minix (https://linuxfr.org/news/entretien-avec-andrew-tanenbaum-a-propos-de-minix)
[HS]
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 13 septembre 2019 à 18:57
Noooo...

Citer
Bonjour minux (*)
- Allez y monsieur, posez votre question.
- J'ai pas de questions, c'est pour dire a René qu'il aille directement chez zezette, parsque comme j'ai pommé les clés du camions j'vais être perdu pour ouvrir les portes de l'armoire...
- Vous pouvez le dire a monsieur, simone...
- Candidat suivant, c'est monsieur?
- C'est papi Moujooooos
(*) à la réflexion il dit ptet "milux" mais c'est pas grave depuis ma jeunesse j'entends "minux" :)

Sinon c'est une débian :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 14 septembre 2019 à 11:17
 :hello:

Grâce à vos calculs, on a identifié quelques stratégies pour améliorer la situation :
- rendre les critères de convergence moins stricts, ce qui devrait (considérablement ?) accélérer les calculs.
- enlever une étape du calcul, source de beaucoup de bugs et gain de temps à la clé
- uniquement des applications 1 cpu pour ne pas réserver inutilement des cœurs qui restent souvent inutilisés.

Les temps de calculs resteront longs mais on devrait gaspiller moins et avoir plus souvent des succès.

Points en attente :
- on reste sur environ 2Go de mémoire. On manque de recul pour savoir si les molécules plus grandes poseront problème avec moins.
- pour les points, je vais demander de l'aide sur d'autres forums quand j'aurai un peu de temps
- pour les badges, on est toujours open à des contributions. Pour la première phase de test, on compte attribuer un badge spécial pour récompenser les efforts !

Par conséquent, on devra annuler et soumettre des nouvelles unités peut-être à plusieurs reprises dans les jours/semaines à venir.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 14 septembre 2019 à 13:21
Merci damotbe, de nous faire vivre la naissance de ce projet !
Superbe !
Je suis vraiment désolé de n'avoir pas réussi à calculer des WUs pour contribuer à la mise au point de ce projet.
Avec de pareilles ram nécessaires, je ne pourrai de toute façon que faire des calculs avec la machine que je projette de me procurer dans quelques mois.
Mais je serai là moi aussi pour QuChemPedIA dès que possible...

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 14 septembre 2019 à 19:50
J'ai finalisé mon premier essai de badges pour QuChemPedIA et je vous le soumets !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 14 septembre 2019 à 20:33
J'ai finalisé mon premier essai de badges pour QuChemPedIA et je vous le soumets !

C'est vraiment top, j'aime beaucoup !
Est-ce que tu aurais une idée pour ajouter le côté chimie ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 14 septembre 2019 à 20:36
J' y avais pensé mais ça fait chargé... (ça rend bien en grand mais dès qu'on réduit...)
mais je vais essayer d'autres idées !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 14 septembre 2019 à 22:02
J' y avais pensé mais ça fait chargé... (ça rend bien en grand mais dès qu'on réduit...)
mais je vais essayer d'autres idées !

au fait, c'est pourquoi le 'W' ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 14 septembre 2019 à 23:04
Le W, c'est pour le Pedia (Wiki) !  :kookoo:

2ème version de badges avec chimie !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 14 septembre 2019 à 23:26
sympa, mais en 20x20 pixels ça donne quoi?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 septembre 2019 à 06:47
Je sens que celles qui me reste vont toutes finir comme ça (j'hésite à les tuer on ne sais jamais):

https://quchempedia.univ-angers.fr/athome/result.php?resultid=8001

Fin de l'épisode multithreads  :priz2tet:  :pt1cable:

Ça devrait aller mieux maintenant  :)

EDIT: j'ai chargé de nouvelles tâches et c'est encore des t2 et j'ai toujours le même bug:
toutes les tâches sur la même paire de cpus :spamafote:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 15 septembre 2019 à 09:11
sympa, mais en 20x20 pixels ça donne quoi?
28x28 pixels : effectivement, ça fait trop chargé : je vais faire une autre version plus légère !
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 15 septembre 2019 à 09:19
sympa, mais en 20x20 pixels ça donne quoi?
28x28 pixels : effectivement, ça fait trop chargé : je vais faire une autre version plus légère !

L'idée est là en tout cas. Pour alléger enlève le 'W' et même le 'IA' si nécessaire. Une molécule simple : H20
Voilà quelques idées en vrac ! J'aimerais bien avoir ton talent d'artiste en tout cas.

@Erik. Théo n'est plus en stage mais va essayer de nous dépanner ponctuellement, je ne sais pas quand il aura le temps de faire les réglages et me montrer. la coupure de cet été nous a fait perdre 3 semaines sur le planning et on paye ça maintenant  :(
Titre: Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 septembre 2019 à 11:26
@Erik. Théo n'est plus en stage mais va essayer de nous dépanner ponctuellement, je ne sais pas quand il aura le temps de faire les réglages et me montrer. la coupure de cet été nous a fait perdre 3 semaines sur le planning et on paye ça maintenant  :(
:jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 16 septembre 2019 à 11:41
Hop, 3ème version allégée des badges !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 16 septembre 2019 à 14:12
L'AF n'a pas créé de compte ou c moi qui ne trouve pas?  :??:
Sublime la 2ème ligne pour mon point de vu perso. bravo pour les propositions de tes badges  :jap:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 16 septembre 2019 à 16:23
L'AF n'a pas créé de compte ou c moi qui ne trouve pas?  :??:
C'est exact.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 septembre 2019 à 21:24
Alors en effet ma VM linux crunche 2 tâches mono core en parallèle maintenant... c'était bien la peine que je passe sur un bi-core :lol:

Mais bon côté mémoire ça serait pas passé, donc c'était pas inutile.


Côté badge : franky ils sont sympathiques et tout mais je trouve que tu les fais en calquant l'esprit des badges spéciaux de RAID AF (forme, succession de couleurs), je pense que ça prête à confusion. Pour des badges projet je pense qu'il est possible de se permettre plus de fantaisie tant sur la forme du badge que ses couleurs, non ? What do you think people ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 16 septembre 2019 à 21:32
Côté badge : franky ils sont sympathiques et tout mais je trouve que tu les fais en calquant l'esprit des badges spéciaux de RAID AF (forme, succession de couleurs), je pense que ça prête à confusion. Pour des badges projet je pense qu'il est possible de se permettre plus de fantaisie tant sur la forme du badge que ses couleurs, non ? What do you think people ?
Effectivement, mes propositions sont un peu monochromes (enfin bichrome - noir et blanc - hormis le fond) et je vais essayer des badges plus originaux en formes et en couleurs ! #défi
Le problème, c'est que j'arrive à faire des trucs sympas en 120x120 pixels mais quand on réduit à 28x28 pixels, on ne voit plus rien (fouillis)...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 septembre 2019 à 22:05
Mais on est sûr de cette norme 28x28 ? parce que je voudrais pas dire mais y'a des projets qui s'en écartent gaiement !!
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 16 septembre 2019 à 22:22
28x28, c'est la taille d'affichage sur statseb !

Hop, une autre idée plus colorée ou les badges ont la forme du cerveau à gauche, des connecteurs électroniques à droite et une molécule au centre...
le tour est transparent (PNG) et la couleur des badges est uniquement à l'intérieur du badge !
(Les 2 images sont les mêmes badges mais plus petits dans la deuxième)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 16 septembre 2019 à 23:05
Chez Seb c'est 20x20 il me semble, pas 28x28  cocoricooo
A part ça, chapeau bas pour tes badges, ils sont magnifiques ! :love:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 septembre 2019 à 23:49
Ah ben voila, elle déchire cette série !!! :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 17 septembre 2019 à 07:45

A part ça, chapeau bas pour tes badges, ils sont magnifiques ! :love:
:love: :miam: :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 septembre 2019 à 07:58
C'est vrai qu'ils sont beaux !  :love:

Par contre, je pensais que c'était simple comme il y a une interface web pour les ajouter... mais après quelques essais, je n'ai pas réussi.  :(
Rien n'est simple avec ce bouzin  :priz2tet:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 septembre 2019 à 09:44
C'est vrai qu'ils sont beaux !  :love:

Par contre, je pensais que c'était simple comme il y a une interface web pour les ajouter... mais après quelques essais, je n'ai pas réussi.  :(
Rien n'est simple avec ce bouzin  :priz2tet:

 :winner2:
Bon, j'ai un badge assignable, c'est un début !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 17 septembre 2019 à 10:16
Chez Seb c'est 20x20 il me semble, pas 28x28  cocoricooo
Pourtant, pour les Raid, j'avais fait du 28x28 !

A part ça, chapeau bas pour tes badges, ils sont magnifiques ! :love:
Ah ben voila, elle déchire cette série !!! :D

A part ça, chapeau bas pour tes badges, ils sont magnifiques ! :love:
:love: :miam: :jap:
C'est vrai qu'ils sont beaux !  :love:
Merci à tous !  :jap: 
Est-ce qu'on les garde ? Est-ce que je fais des modifs ?  N'y a-t-il pas de concurrent pour en proposer d'autres ?  :kookoo:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 17 septembre 2019 à 10:40
Chez Seb c'est 20x20 il me semble, pas 28x28  cocoricooo
Pourtant, pour les Raid, j'avais fait du 28x28 !

A part ça, chapeau bas pour tes badges, ils sont magnifiques ! :love:
Ah ben voila, elle déchire cette série !!! :D

A part ça, chapeau bas pour tes badges, ils sont magnifiques ! :love:
:love: :miam: :jap:
C'est vrai qu'ils sont beaux !  :love:
Est-ce qu'on les garde ?
Oui.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 septembre 2019 à 10:48
Oui, pour l'instant j'ai découpé le badge beta qui est donc déployé : https://quchempedia.univ-angers.fr/athome/img/beta1.png (https://quchempedia.univ-angers.fr/athome/img/beta1.png)

Je vais essayer de me l'attribuer pour comprendre la mécanique du bouzin  :miam:
Mais ce sera après mes cours... enseignant-chercheur !

EDIT : j'ai mis du 120x120, ils sont trop beaux comme ça !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 septembre 2019 à 16:52
J'ai réussi !!!!  :kermit:

Bon bah distribution semi-manuelle  en cours  :sun:


EDIT : it works !!!!!!! badge pour tous les utilisateurs avec crédit > 0  :smak:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 17 septembre 2019 à 17:12
:yaya:
Merci damotbe :jap:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 17 septembre 2019 à 18:52
:yaya:
Merci damotbe :jap:
:+1:   :bounce:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 10:32
Maintenant que j'ai compris la partie badge, les badges pour le crédit sont en place !  :hyperbon: :hyperbon: :hyperbon:

EDIT :  si vous constatez des bugs, n'hésitez pas à me faire un retour. Normalement, une tâche journalière affecte les badges, il faut donc attendre au pire 24h après un jalon pour obtenir le badge.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 18 septembre 2019 à 10:33
Merci damotbe !
J'espère décrocher un badge un de ces jours...

 :jap:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 10:37
Merci damotbe !
J'espère décrocher un badge un de ces jours...

 :jap:

Moi pendant ce temps là, je ne fais plus de Collatz (sauf à la maison) :blbl:
Dommage qu'on ait trop besoin des 4 x 2080Ti en ce moment  :gniak:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 10:44
Maintenant que j'ai compris la partie badge, les badges pour le crédit sont en place !  :hyperbon: :hyperbon: :hyperbon:
Super !  :bipbip:

Il ne manque plus que la team AF soit créée et que les résultats apparaissent dans les stats sur statseb ou SETIBZH !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 18 septembre 2019 à 10:58
Maintenant que j'ai compris la partie badge, les badges pour le crédit sont en place !  :hyperbon: :hyperbon: :hyperbon:
Super !  :bipbip:

Il ne manque plus que la team AF soit créée et que les résultats apparaissent dans les stats sur statseb ou SETIBZH !
:+1:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 18 septembre 2019 à 11:22
Vu que le projet n'utilise plus de VM avec la dernière appli, je me suis dit que j'allais le rejoindre dans ma VM Windows aussi. Voilà les messages que j'ai eus:
Citer
18/09/2019 11:19:15 | QuChemPedIA@home | Master file download succeeded
18/09/2019 11:19:21 | QuChemPedIA@home | Sending scheduler request: Project initialization.
18/09/2019 11:19:21 | QuChemPedIA@home | Requesting new tasks for CPU
18/09/2019 11:19:22 | QuChemPedIA@home | Scheduler request completed: got 0 new tasks
18/09/2019 11:19:22 | QuChemPedIA@home | No tasks sent
18/09/2019 11:19:22 | QuChemPedIA@home | Message du serveur: VirtualBox is not installed

Juste pour info. Il y a probablement un truc à changer dans le code....
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 11:41
Maintenant que j'ai compris la partie badge, les badges pour le crédit sont en place !  :hyperbon: :hyperbon: :hyperbon:
Super !  :bipbip:

Il ne manque plus que la team AF soit créée et que les résultats apparaissent dans les stats sur statseb ou SETIBZH !

j'ai importé toutes les teams, dont l'AF, vous pouvez vous inscrire !  :sun:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 11:46
Vu que le projet n'utilise plus de VM avec la dernière appli, je me suis dit que j'allais le rejoindre dans ma VM Windows aussi. Voilà les messages que j'ai eus:
Citer
18/09/2019 11:19:15 | QuChemPedIA@home | Master file download succeeded
18/09/2019 11:19:21 | QuChemPedIA@home | Sending scheduler request: Project initialization.
18/09/2019 11:19:21 | QuChemPedIA@home | Requesting new tasks for CPU
18/09/2019 11:19:22 | QuChemPedIA@home | Scheduler request completed: got 0 new tasks
18/09/2019 11:19:22 | QuChemPedIA@home | No tasks sent
18/09/2019 11:19:22 | QuChemPedIA@home | Message du serveur: VirtualBox is not installed

Juste pour info. Il y a probablement un truc à changer dans le code....

la dernière appli n'utilise plus de VM sous Linux. Sous Windows et MAC, ce sont des VM pour le moment
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 18 septembre 2019 à 12:02
j'ai importé toutes les teams, dont l'AF, vous pouvez vous inscrire !  :sun:
:yaya:
AF rejointe :D

la dernière appli n'utilise plus de VM sous Linux. Sous Windows et MAC, ce sont des VM pour le moment
:etmerde: Merci pour la piqûre de rappel, damotbe. Je resterai donc uniquement sous Nunux pour l'instant.
Titre: Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 12:08
j'ai importé toutes les teams, dont l'AF, vous pouvez vous inscrire !  :sun:
AF rejointe mais quand on va sur la page de la team (https://quchempedia.univ-angers.fr/athome/team_display.php?teamid=4), il n'y a qu'un membre, @damotbe !

[Edit]Le problème est, maintenant, résolu ! [/Edit]
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 18 septembre 2019 à 15:06
:bounce:

Petite question: c'est quoi les seuils pour les badges?
bronze 10k
argent 100k
or 1M? (vu qu'erik ne l'a pas encore avec ses 700k+)
ensuite?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 15:29
:bounce:

Petite question: c'est quoi les seuils pour les badges?
bronze 10k
argent 100k
or 1M? (vu qu'erik ne l'a pas encore avec ses 700k+)
ensuite?

Bronze 10k
Argent 100k
Or 1M
Ruby 10M
Émeraude 100M
Saphir 1B

Après, je peux faire des badges intermédiaires avec des chevrons ou des étoiles pour des paliers supplémentaires à partir de 1M
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 18 septembre 2019 à 19:42
C'est bien avec les intermédiaires et les étoiles oui!!  :jap:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 19:48
C'est bien avec les intermédiaires et les étoiles oui!!  :jap:
ça veut dire qu'il faut que je fasse des modifs ?
Combien d'étoiles pour niveaux intermédiaires à partir de 1M ? (or - or+1 - or+2 ... / ruby - ruby+1 - ruby +2...)
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 18 septembre 2019 à 20:01
C'est bien avec les intermédiaires et les étoiles oui!!  :jap:
ça veut dire qu'il faut que je fasse des modifs ?
Combien d'étoiles pour niveaux intermédiaires à partir de 1M ? (or - or+1 - or+2 ... / ruby - ruby+1 - ruby +2...)
Ça risque de surcharger la bête (le badge) non ?  :siflotte:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 18 septembre 2019 à 20:05
:bounce:

Petite question: c'est quoi les seuils pour les badges?
bronze 10k
argent 100k
or 1M? (vu qu'erik ne l'a pas encore avec ses 700k+)
ensuite?

Tu pourras rajouter des badges si on dépasse dans le futur les 1B?

Bronze 10k
Argent 100k
Or 1M
Ruby 10M
Émeraude 100M
Saphir 1B

Après, je peux faire des badges intermédiaires avec des chevrons ou des étoiles pour des paliers supplémentaires à partir de 1M
Titre: Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 20:24
Ça risque de surcharger la bête (le badge) non ?  :siflotte:
Pas forcément, on peut ajouter 1 à 3 étoiles !

Tu pourras rajouter des badges si on dépasse dans le futur les 1B?
Bien sûr, on peut prévoir des couleurs au-delà de 1B mais je crois qu'on est tranquille pour un moment, pour l'instant !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 18 septembre 2019 à 20:40
Avec les étoiles c'est  :love: :love: aussi.
Titre: Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 20:51
Ça risque de surcharger la bête (le badge) non ?  :siflotte:
Pas forcément, on peut ajouter 1 à 3 étoiles !

Tu pourras rajouter des badges si on dépasse dans le futur les 1B?
Bien sûr, on peut prévoir des couleurs au-delà de 1B mais je crois qu'on est tranquille pour un moment, pour l'instant !

Je peux toujours ajouter des badges dans le futur. C'est assez simple quand on a pigé le truc (qui est pas super bien documenté).

Avec les étoiles c'est top aussi !

Deux paliers intermédiaires ? (on va être de vrais généraux !)
10k 20k 50K
100k 200k 500k
1M 2M 5M
10M 20M 50M
100M 200M 500M
1B 2B 5B
Titre: Re : Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 21:01
Je peux toujours ajouter des badges dans le futur. C'est assez simple quand on a pigé le truc (qui est pas super bien documenté).

Avec les étoiles c'est top aussi !

Deux paliers intermédiaires ? (on va être de vrais généraux !)
10k 20k 50K
100k 200k 500k
1M 2M 5M
10M 20M 50M
100M 200M 500M
1B 2B 5B
Ah, on mets des étoiles aussi à partir de 10k ?  :hap:
Je croyais qu'on commençait à partir de 1M (d'où l'exemple du badge or) !  :desole:
Pas de problème, je me penche dessus d'ici la fin de la semaine (demain, je suis un peu occupé)...
Si, avec les étoiles, on va jusqu'à 5B, on va peut-être attendre pour rajouter des couleurs !  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 18 septembre 2019 à 21:32
Va falloir trouver la fonction qui n'affiche que le badge le plus élevé obtenu :lol:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 21:38
Va falloir trouver la fonction qui n'affiche que le badge le plus élevé obtenu :lol:
Sinon on fait comme sur RakeSearch : on collectionne tous les badges !  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: naz le 18 septembre 2019 à 22:05
non tout les badges ça fait trop lourd. Seulement le plus élevé... Direct on voit son niveau  :gniak:
Titre: Re : Re : Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 18 septembre 2019 à 22:23
Je peux toujours ajouter des badges dans le futur. C'est assez simple quand on a pigé le truc (qui est pas super bien documenté).

Avec les étoiles c'est top aussi !

Deux paliers intermédiaires ? (on va être de vrais généraux !)
10k 20k 50K
100k 200k 500k
1M 2M 5M
10M 20M 50M
100M 200M 500M
1B 2B 5B
Ah, on mets des étoiles aussi à partir de 10k ?  :hap:
Je croyais qu'on commençait à partir de 1M (d'où l'exemple du badge or) !  :desole:
Pas de problème, je me penche dessus d'ici la fin de la semaine (demain, je suis un peu occupé)...
Si, avec les étoiles, on va jusqu'à 5B, on va peut-être attendre pour rajouter des couleurs !  :D

Tu as raisons, mon affaire est pas très utile. Alors disons:
10k
100k
1M 2M 5M
10M 20M 50M
100M 200M 500M
1B 2B 5B

Avec un aspect visuel bien distinctif pour qu'on voit bien l'évolution (bordures? couleurs? chevrons ?)

EDIT : Si j'ai bien compris c'est assez simple de ne garder que le meilleur badge, reste à savoir s'il faut faire ça subtilement  :cavachier:
Titre: Re : Re : Re : Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 septembre 2019 à 22:54
Tu as raisons, mon affaire est pas très utile. Alors disons:
10k
100k
1M 2M 5M
10M 20M 50M
100M 200M 500M
1B 2B 5B

Avec un aspect visuel bien distinctif pour qu'on voit bien l'évolution (bordures? couleurs? chevrons ?)

EDIT : Si j'ai bien compris c'est assez simple de ne garder que le meilleur badge, reste à savoir s'il faut faire ça subtilement  :cavachier:
Je vais mettre les étoiles de la même couleur que le badge (comme l'exemple or) :
- or - 1 étoile or - 2 étoiles or,
- rubis - 1 étoile rubis - 2 étoiles rubis,
-émeraude - 1 étoile émeraude - 2 étoiles émeraude,
- saphyr - 1 étoile saphyr - 2 étoiles saphyr.
Titre: Re : Re : Re : Re : Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 19 septembre 2019 à 07:45

Je vais mettre les étoiles de la même couleur que le badge (comme l'exemple or) :
- or - 1 étoile or - 2 étoiles or,
- rubis - 1 étoile rubis - 2 étoiles rubis,
-émeraude - 1 étoile émeraude - 2 étoiles émeraude,
- saphyr - 1 étoile saphyr - 2 étoiles saphyr.

Tu crois qu'on remarquera bien les étoiles en petit ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 19 septembre 2019 à 09:19
Peut-être en les faisant dans une couleur contrastante?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 19 septembre 2019 à 10:01
Je peux faire les étoiles dans la couleur du badge supérieur :
- rubis pour or...
Il n'y a que pour le badge saphyr qu'il faut que je prévois la couleur éventuelle du badge supérieur (10 B) !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 19 septembre 2019 à 10:17
Je peux faire les étoiles dans la couleur du badge supérieur :
- rubis pour or...
Il n'y a que pour le badge saphyr qu'il faut que je prévois la couleur éventuelle du badge supérieur (10 B) !

Je dirais bien diamant, donc blanc  :D
encore :smak: pour les badges
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 19 septembre 2019 à 12:18
Que d’effervescence ! Badge love ! Equipe rejointe !

Va falloir faire du lobbying pour que tout ça apparaisse dans nos sites de stats chéris :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 19 septembre 2019 à 14:58
J'ai rendu obsolète toutes les applications t2 et t4. D'ici quelques jours, vous ne devriez plus avoir que des t1. Normalement, les ressources CPU seront mieux utilisés mais les calculs seront longs.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 19 septembre 2019 à 15:12
Il me reste 9 tâches en t4 pour la semaine prochaine, mais l'ordi s'est gavé de SRBase (qui ont très mal évalué le temps de calcul - prévision: 15 minutes, réel: 1h +- 15 min) qui sont pour demain.
Tu veux que je les annule ou je laisse courir?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 19 septembre 2019 à 15:24
J'ai 12 t2 en cours plus d'autres prêtes à démarrer. Il faut les annuler ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 19 septembre 2019 à 15:30
C'est surtout pour vous, pour vous éviter de bloquer trop de cœur inutilement. Donc oui, si ça vous gène
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 19 septembre 2019 à 15:31
J'ai rendu obsolète toutes les applications t2 et t4. D'ici quelques jours, vous ne devriez plus avoir que des t1. Normalement, les ressources CPU seront mieux utilisés mais les calculs seront longs.
J'ai encore quelques taches T2 et T4 qui n'en finissent pas...
alors les T1, ça va être vraiment long à cruncher !
Ça va être dur d'arriver au badge saphir (1 B) !  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: MortelKni le 19 septembre 2019 à 19:56
 :kookoo:

J'ai 4 tâches T1 sur la VM linux qui ont pris le relai des t4, sauf que ces 4 tâches n'utilisent qu'un seul coeur à 100%. Quelqu'un à une idée du pourquoi du comment ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 19 septembre 2019 à 20:06
C'est ce qui m'arrive avec mes t2 sous linux, toutes les taches ne prennent qu'une seule paire de threads.
depuis que j'en ai rechargé il semblerait que 4 threads pour 12 tâches soient utilisés mais c'est dur à voir je n'ai pas que ce projet.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 19 septembre 2019 à 20:25
Vous êtes tous les deux avec des VM linux ?
Ou Erik tu es en direct sur Linux ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 19 septembre 2019 à 20:28
Je suis en direct avec un ubuntu 16.04
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 19 septembre 2019 à 21:01
En jetant en œil au moniteur système avec  :
Citer
   AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor [Family 21 Model 2 Stepping 0]
(8 processeurs)    NVIDIA GeForce GTX 780 Ti (3016MB) driver: 390.11 OpenCL: 1.2    Linux Ubuntu
Ubuntu 18.04.3 LTS [4.15.0-62-generic|libc 2.27 (Ubuntu GLIBC 2.27-3ubuntu1)]
J'ai 2 cœurs a 100% et les 6 autres a 10%. 
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 19 septembre 2019 à 21:15
J'ai lancé 8 t1 sur un autre ordi (I7 ubuntu 18.04):
2 threads pour 8 tâches
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 19 septembre 2019 à 21:19
Il prend les vieilles rougnes ce projet ? J'ai un Q6600 (http://www.cpu-world.com/CPUs/Core_2/Intel-Core%202%20Quad%20Q6600%20HH80562PH0568M%20(BX80562Q6600).html) (cherchez pas, c'est du 12 ans d'âge(https://forum-images.hardware.fr/images/perso/9/stukka.gif)) avec 2 Go de RAM sous Linux.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 19 septembre 2019 à 21:33
Je pense que oui:

(http://pix.toile-libre.org/upload/img/1568923314.png) (http://pix.toile-libre.org/?img=1568923314.png)

Le mien ne fait que 2.7 Go de RAM utilisable sous linux et a calculé 1 t1 avec succès (3 jours)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 20 septembre 2019 à 12:24
Et voilà les badges intermédiaires (avec 1 et 2 étoile(s)) !
(1ère partie)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 20 septembre 2019 à 12:26
Et voilà les badges intermédiaires (avec 1 et 2 étoile(s)) !
(2ème partie)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 20 septembre 2019 à 18:16
On peut les faire clignoter les étoiles ? :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 20 septembre 2019 à 19:44
merci pour ces super badges  :love: :smak:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 20 septembre 2019 à 19:59
On peut les faire clignoter les étoiles ? :siflotte:
On pourrait (GIF animé) mais... non !   :cpopossib:
(trop site amateur des années 2000 :cavapobienmwa: )

merci pour ces super badges  :love: :smak:
:jap:  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 20 septembre 2019 à 23:02
Sur la VM linux 2 cores : https://quchempedia.univ-angers.fr/athome/results.php?hostid=34

Déjà il continue de m'envoyer des t2, ensuite ils ont l'air de vraiment exploiter le cpu maintenant (temps CPU est le double de la durée), et à l'inverse les t1 ont une temps de fonctionnement double du temps CPU !!!

Y'a comme un soucis.......
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 20 septembre 2019 à 23:20
Sur la VM linux 2 cores : https://quchempedia.univ-angers.fr/athome/results.php?hostid=34

Déjà il continue de m'envoyer des t2, ensuite ils ont l'air de vraiment exploiter le cpu maintenant (temps CPU est le double de la durée), et à l'inverse les t1 ont une temps de fonctionnement double du temps CPU !!!

Y'a comme un soucis.......

Faut que les caches se vident pour que je fasse le point, mais tes résultats ne me choquent pas (c'est cohérent avec les problèmes des autres linuxiens)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 21 septembre 2019 à 08:12
On peut les faire clignoter les étoiles ? :siflotte:

Seulement à Noël :o

@damotbe : Tu peux voir avec les gestionnaires de comptes pour faire ajouter le projet dans la liste ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 21 septembre 2019 à 09:39
Faut que les caches se vident pour que je fasse le point, mais tes résultats ne me choquent pas (c'est cohérent avec les problèmes des autres linuxiens)
Ah je pensais que tu disais que les T1 étaient les seules à bien fonctionner et tirer parti de leur core, je n'avais pas compris que les linuxiens avaient la même chose...


Edith : je confirme que j'ai un core à 100% et le 2ème à 1% avec les deux tâches t1 en parallèle sur la VM nunux, elles occupent chacune 50% d'un core. Le problème est là.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 22 septembre 2019 à 08:33
Ah je pensais que tu disais que les T1 étaient les seules à bien fonctionner et tirer parti de leur core, je n'avais pas compris que les linuxiens avaient la même chose...


Edith : je confirme que j'ai un core à 100% et le 2ème à 1% avec les deux tâches t1 en parallèle sur la VM nunux, elles occupent chacune 50% d'un core. Le problème est là.

La version VM marchait mieux. J'ai une idée d'où peut venir le problème, mais je n'ai pas de solution  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 26 septembre 2019 à 07:15
La bêta test intel part en erreur de calcul au bout de quelques secondes.
Citer
0.06 (intel_mt) (beta test)

Citer
26 Sep 2019, 5:09:44 UTC    26 Sep 2019, 5:10:08 UTC    Erreur lors des calculs    2.19    0.00    ---    NWChem v0.06 (intel_mt)
x86_64-pc-linux-gnu
Citer
   26 Sep 2019, 5:09:44 UTC    26 Sep 2019, 5:10:08 UTC    Erreur lors des calculs    2.13    0.00    ---    NWChem v0.06 (intel_mt)
x86_64-pc-linux-gnu
Citer
26 Sep 2019, 5:09:44 UTC    26 Sep 2019, 5:10:08 UTC    Erreur lors des calculs    2.11    0.00    ---    NWChem v0.06 (intel_mt)
x86_64-pc-linux-gnu

Citer
Stderr output

<core_client_version>7.9.3</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)</message>
<stderr_txt>
07:09:54 (31211): wrapper (7.5.26014): starting
07:09:54 (31211): wrapper: running worker.sh (8)
execv() failed: : Permission denied
07:09:55 (31211): worker.sh exited; CPU time 0.000263
07:09:55 (31211): app exit status: 0x6c00
07:09:55 (31211): called boinc_finish(195)

</stderr_txt>
]]>
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 26 septembre 2019 à 13:03
Les versions :0.07 (t1) et 0.07 (t2) pour le moment ça a l'air de bien se passer.
Les 8 cœurs sont occupés a 100%.  :love:

Pour la version :0.07 (intel_mt) (beta test) ca part toujours en erreur.
Citer
26 Sep 2019, 10:49:01 UTC    26 Sep 2019, 10:54:12 UTC    Erreur lors des calculs    2.26    0.00    ---    NWChem v0.07 (intel_mt)
x86_64-pc-linux-gnu
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 26 septembre 2019 à 13:17
Par contre j'ai reçu celui la alors que mon processeur est un AMD.
Citer
26 Sep 2019, 10:54:12 UTC    26 Sep 2019, 10:55:31 UTC    Erreur lors des calculs    3.11    0.00    ---    NWChem v0.07 (intel_mt)
x86_64-pc-linux-gnu
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 28 septembre 2019 à 16:16
Merci pour ces retours. Avec le raid, c'est la pause pour tout le monde en ce moment, mais après on s'y remet  :hyperbon:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 octobre 2019 à 10:02
@damotbe : Tu peux voir avec les gestionnaires de comptes pour faire ajouter le projet dans la liste ?

J'ai mis un message sur le forum de BoincStats. Qui d'autre ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 octobre 2019 à 11:10
SAM !!
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 01 octobre 2019 à 21:44
Statseb et SetiBZH ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 octobre 2019 à 21:54
Ben si on considère que c'est une béta "stable" il faudrait qu'il soit partout le projet non ? (BoincStats...) ou alors tu veux pas encore en faire "la pub" pour pas être submergé sur un infra pas encore taillée pour ça ? (et d'avoir un nouveau stagiaire !)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 octobre 2019 à 11:53
Mettons ça sur tous les outils de l'AF. Ça c'est pas un problème.

Pour le reste... L'infra est taillée pour c'est le projet lui-même qui est pas fonctionnel sur certains aspects (forums/modo/profils/système de points).
Par contre, on est très content des résultats.

Cette phase n'est pas simple à gérer et les décisions peuvent avoir de lourdes conséquences.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 02 octobre 2019 à 14:15
Coucou, je veux bien un code d'invitation ^^
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 02 octobre 2019 à 15:05
Ahhhh oui j'oubliais niaisement qu'il faut encore un code invitation !!

Donc exit les sites de stats officiels pour le moment ! J'ai envie de dire : et même de l'AF, ce n'est pas un projet public pour le moment !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 02 octobre 2019 à 15:09
J'ai loupé un épisode? Il me semblait qu'au départ il était juste question d'intégrer QuChemPedIA dans les gestionnaires de compte - et là, je n'en vois que 2: BAM et SAM :spamafote:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 02 octobre 2019 à 15:12
Pas faux ! :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Sébastien le 02 octobre 2019 à 17:46
J'ai loupé un épisode? Il me semblait qu'au départ il était juste question d'intégrer QuChemPedIA dans les gestionnaires de compte - et là, je n'en vois que 2: BAM et SAM :spamafote:
Pour SAM, ce ne sera pas possible tant que le projet n'exporte pas ses stats.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 octobre 2019 à 19:47
J'ai loupé un épisode? Il me semblait qu'au départ il était juste question d'intégrer QuChemPedIA dans les gestionnaires de compte - et là, je n'en vois que 2: BAM et SAM :spamafote:
Pour SAM, ce ne sera pas possible tant que le projet n'exporte pas ses stats.

Il ne me semble pas lui avoir demandé de garder ça pour lui  :lol:
J'imagine que c'est encore un truc à trouver dans la configuration ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Sébastien le 02 octobre 2019 à 19:57
L'export se configure dans le fichier config.xml
<task>
      <cmd>db_dump -d 4 -dump_spec ../db_dump_spec.xml</cmd>
      <period>6 hours</period>
      <disabled>0</disabled>
      <output>db_dump.out</output>
</task>
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 octobre 2019 à 20:26
L'export se configure dans le fichier config.xml
<task>
      <cmd>db_dump -d 4 -dump_spec ../db_dump_spec.xml</cmd>
      <period>6 hours</period>
      <disabled>0</disabled>
      <output>db_dump.out</output>
</task>

Merci pour l'aide. Dans ma config, j'ai activé le bloc correspondant qui ressemble à ça :
<task>
      <cmd>db_dump -d 2 -dump_spec ../db_dump_spec.xml</cmd>
      <period>24 hours</period>
      <disabled>0</disabled>
      <output>db_dump.out</output>
</task>

Est-ce que c'est grave si je laisse 24h ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Sébastien le 02 octobre 2019 à 20:41
Non, ce n'est pas grave. Cela correspond à la fréquence de MAJ des exports.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 octobre 2019 à 20:43
Normalement, c'est en place ! Si je comprends bien, la suite c'est d'enlever le code d'invitation ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 02 octobre 2019 à 21:08
Normalement, c'est en place ! Si je comprends bien, la suite c'est d'enlever le code d'invitation ?
ça fonctionne chez moi  :hyperbon:
si tu pouvais mettre l'URL dans le 1er post ça serait top, j'ai dû lire des tas de pages avant de trouver  :ange:
https://quchempedia.univ-angers.fr/athome/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Sébastien le 02 octobre 2019 à 21:12
Normalement, c'est en place ! Si je comprends bien, la suite c'est d'enlever le code d'invitation ?
Le code d'invitation n'empêche pas l'intégration au gestionnaire de compte SAM. Dans la mesure où vous fournissez le code d'invitation sur demande, je vais aussi intégrer le projet à Statseb.

De plus, afin d'éviter d'être submergé par des spam-bots, je te suggère de mettre en place une solution anti-bot avant d'enlever le code d'invitation. Ou, plus simplement, laisser le code d'invitation mais l'afficher sur la page d'accueil du projet.
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 octobre 2019 à 21:37
Normalement, c'est en place ! Si je comprends bien, la suite c'est d'enlever le code d'invitation ?
ça fonctionne chez moi  :hyperbon:
si tu pouvais mettre l'URL dans le 1er post ça serait top, j'ai dû lire des tas de pages avant de trouver  :ange:
https://quchempedia.univ-angers.fr/athome/

Bonne idée, C'est fait !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 octobre 2019 à 21:38
Le code d'invitation n'empêche pas l'intégration au gestionnaire de compte SAM. Dans la mesure où vous fournissez le code d'invitation sur demande, je vais aussi intégrer le projet à Statseb.

De plus, afin d'éviter d'être submergé par des spam-bots, je te suggère de mettre en place une solution anti-bot avant d'enlever le code d'invitation. Ou, plus simplement, laisser le code d'invitation mais l'afficher sur la page d'accueil du projet.

Ok, je regarde ça demain. Il faudrait que j'ajoute la description de ce qu'on fait aussi au passage.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 octobre 2019 à 11:38
Le forum est créé , le code d'invitation est affiché !

Le projet quitte officiellement sa phase "bêta" !  :clafete:

Si vous voulez m'aider à modérer le forum, j'en serais ravi  :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 octobre 2019 à 13:38
Et en plus : il fonctionne :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 03 octobre 2019 à 13:57
Création de compte impossible : les espaces dans les pseudos ne sont pas autorisés. :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 octobre 2019 à 14:31
Création de compte impossible : les espaces dans les pseudos ne sont pas autorisés. :/

Pas que je sache ! De nombreux utilisateurs ont des espaces. Pas d'autre piste ? Un message d'erreur particulier ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 03 octobre 2019 à 15:25
Nouvel essai et création réussie. Le problème devait se situer entre la chaise et le clavier. :spamafote:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 octobre 2019 à 15:53
me voilà rassuré !  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 octobre 2019 à 15:59
(http://www.journaldugeek.com/files/2012/05/PEBKAC.jpg)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 04 octobre 2019 à 12:38
Voici l'état de mes premiers résultats : pas mal pour un début.

Citer
État: Tous (200) · En cours (184) · Validation en attente (0) · Validation non concluante (0) · Valide (14) · Invalide (2) · Erreur (0)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 octobre 2019 à 13:51
Voici l'état de mes premiers résultats : pas mal pour un début.

Citer
État: Tous (200) · En cours (184) · Validation en attente (0) · Validation non concluante (0) · Valide (14) · Invalide (2) · Erreur (0)

C'est un sans faute même ! (invalide = problème insoluble en chimie, échec immédiat normalement)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 octobre 2019 à 17:55
Moi avec mes modestes tests sur le Mac ce fut beaucoup moins bien !! (je retenterai après le RAID)

État: Valide (3) · Invalide (1) · Erreur (12)

(non en fait je les ai presque tous annulé au début du RAID, y'en a eu 1 en erreur je crois :p)


Sur la VM mimix (nunux) de chez OVH ça tourna assez bien :

État: Valide (21) · Invalide (0) · Erreur (3)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 04 octobre 2019 à 21:27
J'essayerai avec VirtualBox ce WE si j'ai pas la flemme de l'installer ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 octobre 2019 à 23:34
"Les digues du barrage anti-VM cèdent peut à peu face au courant des bits crunchés"

(proverbe des moines crunchers de la grande Abbaye de Maître Pen'd Hing :jap:)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 05 octobre 2019 à 10:54
T'inquiète pas, c'est juste parce que c'est un projet de quelqu'un d'ici que je veux faire l'effort :D ... et au final j'ai qu'une machine qui pourra participer. :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 octobre 2019 à 15:14
Je m'inquiète pas et merci pour l'effort !! :jap:

Te connaissant (un peu) je sais qu'il est très grand  :calin:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 octobre 2019 à 15:30
... ça commence à fumer sur le forum QCPIA, bon courage !! :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 05 octobre 2019 à 16:08
Il doit falloir des nerfs d'acier et une patience de moine tibétain pour gérer un forum. Bah, comme pour être prof en fait !

Pas mon truc quoi.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 octobre 2019 à 16:10
Moine *cruncher* tibétain, je précise.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 06 octobre 2019 à 10:08
Il doit falloir des nerfs d'acier et une patience de moine tibétain pour gérer un forum. Bah, comme pour être prof en fait !

Pas mon truc quoi.

Oui, c'est pénible... D'ailleurs je cherche toujours un ou des modérateurs  :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 06 octobre 2019 à 13:29
On peut certainement pas t'y remplacer : y'a que toi qui sait vraiment répondre aux questions, surtout qu'ils trouvent de nouveaux problèmes - et c'est bien le but de l'avoir ouvert en béta publique !!

Avoir besoin de "modérateurs" c'est pour le jour où y'aura vraiment des 10aines de posts tous les jours sur le forum, avec des mecs qui s'engueulent, qui t'insultent, etc :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 07 octobre 2019 à 22:18
Je viens de reprendre 2x8Go de RAM pour mon Ryzen 1700 en prévision de ce projet et du projet climatique sur WCG qui devrait être également gourmand en RAM.

Avec 32Go, les 16 threads devraient être à l'aise !  :D

Reprise des calculs après le RAID.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 07 octobre 2019 à 22:51
A l'aise à l'aise ça dépend ce que tu mets dedans, il m'est arrivé moulte fois de saturer mes 16 Go avec les 8 coeurs (HT) à cause de "plusieurs projets VB/VM tournant en même temps" :D

Mais j'aime bien vivre dangereusement...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 11 octobre 2019 à 08:04
Le projet est sur BOINCstats !  :lestat:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: nafrayou le 11 octobre 2019 à 10:36
Le projet est sur BOINCstats !  :lestat:

Super ..

heu oui mais impossible de crée un compte "" project down "
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 11 octobre 2019 à 11:01
Le projet est sur BOINCstats !  :lestat:

Super ..

heu oui mais impossible de crée un compte "" project down "
idem pour moi, peut-être un problème d'accès pour BAM :
Last update user XML    2019-10-10 08:35:01 UTC (20:28:23 old)
https://www.boincstats.com/stats/185/project/detail/ (https://www.boincstats.com/stats/185/project/detail/)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 12 octobre 2019 à 20:47
Le projet est sur BOINCstats !  :lestat:
L'affluence sur le forum va augmenter :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 12 octobre 2019 à 21:02
Le projet est sur BOINCstats !  :lestat:
L'affluence sur le forum va augmenter :D
Et les récriminations en tout genre aussi.  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 13 octobre 2019 à 17:45
Plop

Le projet ne veut pas m'envoyer de tâches.

Le PC :

Linux (basé sur Debian Buster), CPU : Q6600
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 14 octobre 2019 à 20:39
sur mon PC @home, j'ai :
- une tâche qui a mis 1d:17h pour passer de 0 à 100% et elle n'est pas terminée, toujours à 100% avec 3d:03h et restant --- , c'est grave docteur ?
- une tache à 36% au bout de 4d:16h, restant estimé : 8d:3h
- une tache à 24% au bout de 2d:20h, restant estimé : 8d:22h
les 4 autres tâches sont en attente de mémoire (je n'ai que 8go de ram pour un 8 cores et une vbox prend 2go).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 14 octobre 2019 à 23:21
Sur la VM munix du coup j'ai remis QCPIA et donc 2 tâches pour rien puisqu'elles ne tournent que sur un coeur...

Donc je fais un app_config pour n'avoir qu'une tâche à la fois, ça marche mais maintenant j'arrive rien à faire tourner en parallèle comme 2ème projet...... finalement je mets LHC native... et là ça me prend 2 coeurs et ça stoppe QCPIA  :rhaa:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 15 octobre 2019 à 07:51
Sur la VM munix du coup j'ai remis QCPIA et donc 2 tâches pour rien puisqu'elles ne tournent que sur un coeur...

Donc je fais un app_config pour n'avoir qu'une tâche à la fois, ça marche mais maintenant j'arrive rien à faire tourner en parallèle comme 2ème projet...... finalement je mets LHC native... et là ça me prend 2 coeurs et ça stoppe QCPIA  :rhaa:
Oui, il faut éviter les projets multi-cores  :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 15 octobre 2019 à 08:06
Je ne sais pas trop pourquoi la création de compte depuis BAM! ne fonctionne pas (project down)

Pour les temps d'exécution, c'est long, très long... et le temps n'est pas prévisible à l'avance (en gros le code fait : tant que tu n'as pas convergé, continue...)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 15 octobre 2019 à 08:08
J'ai pris quelques tâches sur mon Ryzen 7 / W10 et sur Ryzen 5 / Ubuntu 16.04.

J'attends de voir comment ça se passe, les tâches natives sous Linux semblent mieux fonctionner. Dans tous les cas, je n'en fait qu'une à la fois pour le moment via un app_config.

@damotbe : tu préfères qu'on teste tranquillement une par une pour éviter les inter-actions ou tu ne vois pas de problèmes à en lancer plusieurs en // si les ressources le permettent ?

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 15 octobre 2019 à 09:09
Bonjour,

Bam est réparé, l'admin a débloqué la situation.
Pour mes UT en cours de calcul, je vais attendre jusqu'à la dead-line, pas de souci.

Nouveau problème :
PC nouvellement rattaché à QuChemPedIA, toutes les UT partent en erreur :

2019-10-15 09:03:51 (6084): Hardware acceleration failed with previous execution. Disabling VirtualBox hardware acceleration support.
2019-10-15 09:03:51 (6084): ERROR: Invalid configuration.  VM type requires acceleration but the current configuration cannot support it.
2019-10-15 09:03:51 (6084): Could not create VM
2019-10-15 09:03:52 (6084):
   NOTE: VirtualBox has reported an improperly configured virtual machine. It was configured to require
    hardware acceleration for virtual machines, but your processor does not support the required feature.
    Please report this issue to the project so that it can be addresssed.
    Error Code: ERR_CPU_VM_EXTENSIONS_DISABLED

09:03:52 (6084): called boinc_finish(-148)

j'ai mis le projet en "pas de travail"
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 15 octobre 2019 à 12:35
Je suis toujours en "Got 0 new tasks" (https://forum-images.hardware.fr/images/perso/1/kyjja.gif)

J'ai racheté ce PC pour ce projet alors file moi des tâches (https://forum-images.hardware.fr/images/perso/4/lourspd.gif)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 octobre 2019 à 17:41
Hier j'ai chargé des t2 qui fonctionnent sur un seul thread (linux native sur ubuntu 18.04) et en plus cette nuit je me suis pris un orage et elles sont reparties à zéro au redémarrage de l'ordi  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 octobre 2019 à 00:10
Boinc eet pas très étanche :/
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 16 octobre 2019 à 23:07
Bonjour,

Bam est réparé, l'admin a débloqué la situation.
Pour mes UT en cours de calcul, je vais attendre jusqu'à la dead-line, pas de souci.

Nouveau problème :
PC nouvellement rattaché à QuChemPedIA, toutes les UT partent en erreur :

2019-10-15 09:03:51 (6084): Hardware acceleration failed with previous execution. Disabling VirtualBox hardware acceleration support.
2019-10-15 09:03:51 (6084): ERROR: Invalid configuration.  VM type requires acceleration but the current configuration cannot support it.
2019-10-15 09:03:51 (6084): Could not create VM
2019-10-15 09:03:52 (6084):
   NOTE: VirtualBox has reported an improperly configured virtual machine. It was configured to require
    hardware acceleration for virtual machines, but your processor does not support the required feature.
    Please report this issue to the project so that it can be addresssed.
    Error Code: ERR_CPU_VM_EXTENSIONS_DISABLED

09:03:52 (6084): called boinc_finish(-148)

j'ai mis le projet en "pas de travail"
Tu as bien activé toutes les accélérations matérielles de virtualisation dans le BIOS (Intel VT-x ou AMD-V) ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 octobre 2019 à 17:55
Hier j'ai chargé des t2 qui fonctionnent sur un seul thread (linux native sur ubuntu 18.04) et en plus cette nuit je me suis pris un orage et elles sont reparties à zéro au redémarrage de l'ordi  :/

Sous Linux c'est natif sans VM et aussi sans checkpoint.


Il reste de vieilles WU, il faut le temps de vider...  :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 17 octobre 2019 à 17:57
Je suis toujours en "Got 0 new tasks" (https://forum-images.hardware.fr/images/perso/1/kyjja.gif)

J'ai racheté ce PC pour ce projet alors file moi des tâches (https://forum-images.hardware.fr/images/perso/4/lourspd.gif)

Pourtant, il y a des tâches  :??:

Si c'est pas un Linux, il faut bien avoir les instructions de virtualisation activées dans le BIOS (et un proc qui supporte). Peut-être l'installation de Virtualbox est pas reconnue ou trop ancienne...
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 17 octobre 2019 à 18:10
Je suis toujours en "Got 0 new tasks" (https://forum-images.hardware.fr/images/perso/1/kyjja.gif)

J'ai racheté ce PC pour ce projet alors file moi des tâches (https://forum-images.hardware.fr/images/perso/4/lourspd.gif)

Pourtant, il y a des tâches  :??:

Si c'est pas un Linux, il faut bien avoir les instructions de virtualisation activées dans le BIOS (et un proc qui supporte). Peut-être l'installation de Virtualbox est pas reconnue ou trop ancienne...
Combien de Mémoire ?
Et combien Espace disque disponible ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 17 octobre 2019 à 21:15
Il y a des tâches : mon ordi sous Windows m'en a chargé +90 aujourd'hui !  :eek:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 17 octobre 2019 à 21:19
2 Go :o (oui, je sais, c'est souvent bloquant, j'attends une 'rette de 4 à ajouter).

Espace disque : plus de 100 Go.


Pour Virtualbox, c'est pas sensé être installé avec le paquet BOINC ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 18 octobre 2019 à 11:05
J'ai une machine Ryzen sur Linux que je vais consacrer à ton projet damotbe : 6C/12T et 16Go de RAM sous Ubuntu 18.04 détails (https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=35)

Je suis en train de monter progressivement le nombre d'UT en // pour vérifier que tout ce passe bien. Les UT 2T semblent en tout cas mieux fonctionner que les 1T : meilleur estimatif du temps, etc...

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 18 octobre 2019 à 18:02
Heu oui mais non, sous linux y'a toujours le problème qu'il sait pas utiliser un core entier par tâche quand il y en a plusieurs, non ?

Moi sur ma VM nonox mes deux tâches se partageaient un des deux core et l'autre se tournait les pouces, j'ai limité à une tâche à la fois.

Ce sujet est largement débattu sur le forum du projet.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 20 octobre 2019 à 08:36
Heu oui mais non, sous linux y'a toujours le problème qu'il sait pas utiliser un core entier par tâche quand il y en a plusieurs, non ?

Moi sur ma VM nonox mes deux tâches se partageaient un des deux core et l'autre se tournait les pouces, j'ai limité à une tâche à la fois.

Ce sujet est largement débattu sur le forum du projet.

Normalement, c'est réglé.

J'ai une machine Ryzen sur Linux que je vais consacrer à ton projet damotbe : 6C/12T et 16Go de RAM sous Ubuntu 18.04 détails (https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=35)

Je suis en train de monter progressivement le nombre d'UT en // pour vérifier que tout ce passe bien. Les UT 2T semblent en tout cas mieux fonctionner que les 1T : meilleur estimatif du temps, etc...

 :hello:

merci  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 20 octobre 2019 à 15:26
Bonjour,

je me pose des questions sur le fonctionnement des UT Windows
généralement, quand un projet avec une virtualbox calcule, il me prend 100/nombre de cores en pourcentage CPU dans le gestionnaire de tâches soit 25% pour un quad-core.
ici, ça me prend entre 0 et 2% grand max par UT pour 2-3 UT en cours de calcul.
J'ai l'impression que les UT n'exploitent pas la puissance de calcul des CPU et donc qu'elles sont beaucoup plus lentes que prévu.
Vous constatez la même chose ?
Autre truc, si mon PC redémarre pour une raison X ou Y, les UT (version 0.08) repartent à zéro. C'est déprimant quand elles étaient à 100% depuis plusieurs jours et que la deadline est dans 1-2 jours  :cry:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: PhilTheNet le 21 octobre 2019 à 06:39
Yop,

C'est quoi le "Code d'invitation" ?

Thks
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 21 octobre 2019 à 07:03
Sur la page d'accueil du projet (comme PRIMABOINCA). Il faut créer un compte avant de rattacher ses hotes.  :kookoo:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 21 octobre 2019 à 12:36
Bonjour,

je me pose des questions sur le fonctionnement des UT Windows
généralement, quand un projet avec une virtualbox calcule, il me prend 100/nombre de cores en pourcentage CPU dans le gestionnaire de tâches soit 25% pour un quad-core.
ici, ça me prend entre 0 et 2% grand max par UT pour 2-3 UT en cours de calcul.
J'ai l'impression que les UT n'exploitent pas la puissance de calcul des CPU et donc qu'elles sont beaucoup plus lentes que prévu.
Vous constatez la même chose ?
Autre truc, si mon PC redémarre pour une raison X ou Y, les UT (version 0.08) repartent à zéro. C'est déprimant quand elles étaient à 100% depuis plusieurs jours et que la deadline est dans 1-2 jours  :cry:

Ce n'est pas normal. Il semblerait que le code de calcul plante mais que la VM continue. dans unc as comme ça, il vaut mieux abandonner l'UT. Aucune idée de comment palier à ce problème  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 21 octobre 2019 à 13:56
Vivement le nouveau stagiaire :siflotte: :smak:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 21 octobre 2019 à 20:18
Je viens de lancer 4 unités 2T et 2 unités 1T en même temps, on va voir comment se comporte la machine cette nuit.

 :hello:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 21 octobre 2019 à 23:57
Bonjour,

je me pose des questions sur le fonctionnement des UT Windows
généralement, quand un projet avec une virtualbox calcule, il me prend 100/nombre de cores en pourcentage CPU dans le gestionnaire de tâches soit 25% pour un quad-core.
ici, ça me prend entre 0 et 2% grand max par UT pour 2-3 UT en cours de calcul.
J'ai l'impression que les UT n'exploitent pas la puissance de calcul des CPU et donc qu'elles sont beaucoup plus lentes que prévu.
Vous constatez la même chose ?
Autre truc, si mon PC redémarre pour une raison X ou Y, les UT (version 0.08) repartent à zéro. C'est déprimant quand elles étaient à 100% depuis plusieurs jours et que la deadline est dans 1-2 jours  :cry:

Ce n'est pas normal. Il semblerait que le code de calcul plante mais que la VM continue. dans unc as comme ça, il vaut mieux abandonner l'UT. Aucune idée de comment palier à ce problème  :/
j'ai annulé les 0.08, les 0.11 se terminent correctement mais la charge CPU reste basse
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: PhilTheNet le 22 octobre 2019 à 06:12
Sur la page d'accueil du projet (comme PRIMABOINCA). Il faut créer un compte avant de rattacher ses hotes.  :kookoo:


Rejoindre QuChemPedIA@home
Code d'invitation :
Choisissez un pseudonyme :
Votre adresse email :
Choisissez un mot de passe :
 :gno:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 22 octobre 2019 à 08:34
Je laisse les vannes ouvertes car cela semble bien se passer. En revanche, j'ai du mal à n'avoir que des UTs 2T, il est possible de faire qqch pour ne recevoir que des 2T ?

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 22 octobre 2019 à 10:01
Sur la page d'accueil du projet (comme PRIMABOINCA). Il faut créer un compte avant de rattacher ses hotes.  :kookoo:


Rejoindre QuChemPedIA@home
Code d'invitation :
Choisissez un pseudonyme :
Votre adresse email :
Choisissez un mot de passe :
 :gno:

Phil ouvre bien tes mirettes il est vraiment en gras et en haut de la page d’accueil le code.

https://quchempedia.univ-angers.fr/athome/

:)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 22 octobre 2019 à 10:17
A part moi ça plante de partout :

Mac:
https://quchempedia.univ-angers.fr/athome/results.php?hostid=42&offset=0&show_names=0&state=6&appid=

https://quchempedia.univ-angers.fr/athome/results.php?hostid=42&offset=0&show_names=0&state=5&appid=

Ninix:
https://quchempedia.univ-angers.fr/athome/results.php?hostid=34&offset=0&show_names=0&state=5&appid=


Mais bon sur ninix j'en ai eu pas mal qui ont tourné
https://quchempedia.univ-angers.fr/athome/results.php?hostid=34&offset=0&show_names=0&state=4&appid=

Mais sur Mac bcp moins
https://quchempedia.univ-angers.fr/athome/results.php?hostid=42&offset=0&show_names=0&state=4&appid=
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 24 octobre 2019 à 19:37
Je viens d'annuler 2 tâches 1T qui tournaient depuis + de 24h, j'ai laissé les autres tourner.

https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=21044
https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=25935

 :hello:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 24 octobre 2019 à 21:17
Je viens d'annuler 2 tâches 1T qui tournaient depuis + de 24h, j'ai laissé les autres tourner.

https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=21044
https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=25935

 :hello:

chez moi, elles mettent 5 jours pour terminer (Xeon E5-1620 V3 @3.5GHz)
4 taches, dont 3 en calcul pour 8 threads, Charge globale à 5%, bref, le pc se tourne les pouces.
(http://pix.toile-libre.org/upload/img/1571947388.png)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 24 octobre 2019 à 22:06
J'ai chargé des tâches sur mon vieux portable Dell (Duron bi-core) :
il a crunché une UT assez rapidement puis 1 UT t2 qui a mis longtemps (plus de 2 jours)
et, avec la perte régulière du Wifi, quand je redémarre la dernière UT t1, la tâche redémarre à 0 %
(il ne me semble pas que cela revienne à 0 % sur mes ordis Windows lors d'un redémarrage)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 25 octobre 2019 à 18:01
Bon je confirme que c'est absolument impossible de faire tourner QCPIA sur mon Mac en même temps qu'un autre projet à VM : comme j'avais limité à 2 tâches parallèles (à cause des prérequis en RAM) je voulais le faire cohabiter, j'ai tenté avec NanoHUB (2 max aussi) et mon boinc devenait incontrôlable : impossible malgré toutes sortes de tentatives de connecter le boinc manager ou BoincTasks à boinc, je voyais les tâches tourner en mémoire mais impossible de faire quoi que ce soit, et des fois je voyais des comportements bizarres en mémoire...

Paradoxalement mon Mac restait tout à faire fonctionnel, c'est boinc lui même qui en prenait un (gros) coup.

Du coup j'ai arrêté QCPIA (je veux monter un peu mes crédits sur NanoHub) via SAM et le lendemain j'ai repris la main sur boinc...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 28 octobre 2019 à 15:02
J'ai l'impression que le temps imparti pour calculer les unités n'est pas suffisant.
Je me laisse jusqu'au 3 novembre pour qu'une unité se termine.
Ce qui est sûr, c'est que sur un intel E7500 @ 3GHz, j’atteins la date limite avec un avancement à 53% seulement !
il faut bien choisir ses CPUs pour ce projet.
Peut-être penser à doubler le temps limite d'une unité ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nafrayou le 28 octobre 2019 à 21:50
J en ai fini une bonne vingtaine sans problème  , mais la il m en reste une qui est déjà a  9j 13h pour 70% , le problème c est qu il faudrait la finir pour le 30/10  alors que l estimation donne encore 4j 5H  !!!


que faire ? .....
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 28 octobre 2019 à 22:08
J'ai l'impression que le temps imparti pour calculer les unités n'est pas suffisant.

État: Tous (2993) · En cours (1333) · Validation en attente (0) · Validation non concluante (0) · Valide (1113) · Invalide (298) · Erreur (249)

J'ai la même impression, j'ai moins d'une dizaine d'erreurs de calculs, toutes les autres sont des tâches annulées par le serveur.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 29 octobre 2019 à 09:33
Essayez de suspendre un temps vos tâches.
Pendant le sprint FB sur yoyo j'en avais suspendu 3. Quand je les ai reprises le lendemain du sprint, elles sont parties toutes les trois en "envoi en cours" puis en "prêt à valider". Elles ont été validées sans problème alors que les temps de calcul étaient "ridicules": 5h10, 0h48 et 0h18.
Pas sûre pour autant que les résultats des calculs aient beaucoup fait avancer la recherche :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 30 octobre 2019 à 13:42
Tu as eu de la chance modesti, mais j'ai beau les suspendre 1, 2, 3h, ça ne change rien  :cry:
Elles sont à 100% depuis plusieurs jours, elles tournent depuis 8-9j et la deadline est dans 4j :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 30 octobre 2019 à 14:43
Coucou  :hello:

En ce moment c'est tendu...  :pt1cable:
Les résultats sont satisfaisants scientifiquement parlant. Techniquement, je suis bien conscient que ce n'est pas idéal...

chez moi, elles mettent 5 jours pour terminer (Xeon E5-1620 V3 @3.5GHz)
4 taches, dont 3 en calcul pour 8 threads, Charge globale à 5%, bref, le pc se tourne les pouces.

la deadline est bien calibrée quand la machine calcule à 100%. Il faudrait trouver une solution  à l'occupation CPU. Pourrais-tu essayer d'installer une VM Ubuntu et attacher le projet à l'intérieur pour comparer ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 30 octobre 2019 à 15:46
J'ai des tâches linux qui se sont rechargées, visiblement j'avais enlevé mon app_config pour ne faire qu'une tâche à la fois, je ne sais pas pourquoi car là je constate que les deux restent de nouveau sur un seul core et l'autre ne fait rien... ou alors ça avait été résolu, et ça régresse ?

Si je comprends bien en l'absence d'un nouveau stagiaire il n'y aura pas de nouveau développement dans le dur / la hard technique, c'est ça ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 30 octobre 2019 à 21:16
la deadline est bien calibrée quand la machine calcule à 100%. Il faudrait trouver une solution  à l'occupation CPU. Pourrais-tu essayer d'installer une VM Ubuntu et attacher le projet à l'intérieur pour comparer ?
Ouais, je peux faire ça, je te tiens au courant  :coffeetime:

EDIT : VM installée (ubuntu server 18.04 LTS) 1 thread, 3G ram, une unité en cours de calcul, estimé au départ : 86 jours
CPU à 100% dans la VM et sur l'hôte. Mémoire virtuelle utilisée à 0% : 1,21Go.
Au bout de 2h, j'ai fais 0,106% donc en théorie 100% en 2000h soit environ 83 jours. J'aurais dépassé la date limite depuis un moment.
La mémoire utilisée est passée à 1,83Go.

EDIT2 : Je suis étonné, d'après les logs, l'unité s'est terminée correctement à 2h22 ce matin, la 2ième s'est terminée à 9h18.
La 3ième tourne depuis 50min et indique 14h restantes. ça fonctionne nettement mieux qu'en windows :hyperbon:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 novembre 2019 à 15:25
@RLDF : l’estimation du temps de calcul est foireuse... Le code a un comportement non prédictible selon les entrées. Le serveur rapporte une moyenne en heure à 14.81 avec une forte variabilité 0.65 - 86.15.
Est-ce qu'avec une VM Linux ton occupation CPU est bonne ?

J'ai des tâches linux qui se sont rechargées, visiblement j'avais enlevé mon app_config pour ne faire qu'une tâche à la fois, je ne sais pas pourquoi car là je constate que les deux restent de nouveau sur un seul core et l'autre ne fait rien... ou alors ça avait été résolu, et ça régresse ?

Si je comprends bien en l'absence d'un nouveau stagiaire il n'y aura pas de nouveau développement dans le dur / la hard technique, c'est ça ?

Je ne pense pas que ça régresse, en tout cas Théo l'ancien stagiaire nous dépanne encore  bénévolement. C'est vraiment sympa ! Par contre, effectivement il n'y aura pas de gros développements avant le nouveau stagiaire. Mais de notre côté, on trouve que ça fonctionne vraiment bien ! Mais c'est chiant pour ceux pour lesquels ce n'est pas le cas et on essaye de faire au mieux pour dépanner.

sur le forum du projet, il y a des cas comme ça qui ne veulent pas ou plus évoluer... Même en détachant et rattachant ! Sur mes machines j'ai un script qui tourne :
while [[ 1 -eq 1 ]]; do for pid in $(pgrep nwchem); do taskset -p 0xffffffff $pid; done; sleep 60; done
Toutes les minutes il force l'affinité de nwChem. Selon ta configuration il faut lancer la commande en root (ou sudo) pour que ça fonctionne et idéalement dans un screen.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 novembre 2019 à 17:34
Bon j'ai vérifié j'avais toujours un seul core occupé. J'ai lancé ta commande... mais du coup c'est une commande qui boucle et ne rend pas la main, je ne peux plus rien faire en parallèle, et donc pas vérifier son effet... ??
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 01 novembre 2019 à 17:53
Bon j'ai vérifié j'avais toujours un seul core occupé. J'ai lancé ta commande... mais du coup c'est une commande qui boucle et ne rend pas la main, je ne peux plus rien faire en parallèle, et donc pas vérifier son effet... ??
Oui, c'est pour cela qu'il faut la mettre dans un screen (man screen)
tu peux te détacher de la fenetre et elle tourne en tâche de fond, tu rattacher de temps en temps pour voir si tout va bien  :coffeetime:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 01 novembre 2019 à 17:57
@RLDF : l’estimation du temps de calcul est foireuse... Le code a un comportement non prédictible selon les entrées. Le serveur rapporte une moyenne en heure à 14.81 avec une forte variabilité 0.65 - 86.15.
Est-ce qu'avec une VM Linux ton occupation CPU est bonne ?
Oui, l'occupation CPU est bien à 100% pour le thread concerné, c'est nickel  :hyperbon:
Restera à optimiser le code pour la virtualbox windows afin d'utiliser 100% du processus, ça devrait diviser par 50 le temps de calcul et ravir les crunchers  :miam:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 02 novembre 2019 à 00:17
Bon ben debian il connait pas "screen" mais c'est pas grave : j'ai stoppé ta commande et j'ai deux tâches qui continuent de tourner à un core chacun, youpi !!!

Donc je suppose que ça agit sur les tâches en cours jusqu'à leur fin, et après quand de nouvelles se lancent il doit refaire son office, donc je l'ai relancé dans ma session de shell.

:jap:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 02 novembre 2019 à 06:39
Bon ben debian il connait pas "screen" 
Il me semble que si : https://wiki.debian.org/fr/Screen (https://wiki.debian.org/fr/Screen)
https://formation-debian.viarezo.fr/screen.html (https://formation-debian.viarezo.fr/screen.html)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 02 novembre 2019 à 08:36
 :hello:

Hello ! Je ne comprends pas tout, mais j'essaye de faire tourner le projet sous W7 et W10.

Parfois toutes les tâches sont à l'arrêt : "Reporté : VM job unmanageable, restarting later" ou "en attente de mémoire" alors que rien d'autre ne tourne.

La fonction permettant de limiter le nombre de tâches / machine ne semblant pas fonctionner, petit app_config.

J'utilise VBox 6.0.14

Pour le reste, quand une UT semble vouloir tourner 35 jours, je l'abandonne.

Désolé pas pouvoir aider plus, je n'y comprends rien  :jap:

Merci beaucoup pour ce nouveau projet  :hello: :kookoo:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 novembre 2019 à 10:10
:hello:

Hello ! Je ne comprends pas tout, mais j'essaye de faire tourner le projet sous W7 et W10.

Parfois toutes les tâches sont à l'arrêt : "Reporté : VM job unmanageable, restarting later" ou "en attente de mémoire" alors que rien d'autre ne tourne.

La fonction permettant de limiter le nombre de tâches / machine ne semblant pas fonctionner, petit app_config.

J'utilise VBox 6.0.14

Pour le reste, quand une UT semble vouloir tourner 35 jours, je l'abandonne.

Désolé pas pouvoir aider plus, je n'y comprends rien  :jap:

Merci beaucoup pour ce nouveau projet  :hello: :kookoo:


Vbox pose vraiment des problèmes chez certains utilisateurs... C'est pas idéal comme solution.

Pour les tâches longues, l'estimation est fausse. En moyenne, c'est 17h.

Bon ben debian il connait pas "screen" mais c'est pas grave : j'ai stoppé ta commande et j'ai deux tâches qui continuent de tourner à un core chacun, youpi !!!

Donc je suppose que ça agit sur les tâches en cours jusqu'à leur fin, et après quand de nouvelles se lancent il doit refaire son office, donc je l'ai relancé dans ma session de shell.

:jap:

L'effet perdure jusqu'à la fin de l'exécution, l'idée de la boucle c'est de forcer l'effet toutes les minutes.
Si tu ne veux pas utiliser screen, crée un fichier affinity.sh et donne lui les droits d'exécution :
touch affinity.sh
chmod +x affinity.sh

puis il faut mettre dedans :

#!/bin/bash

while [[ 1 -eq 1 ]]; do
    for pid in $(pgrep nwchem); do
        taskset -p 0xffffffff $pid
    done
    sleep 60
done

ensuite exécute le en tâche de fond avec nohup (à relancer quand tu redémarres ta machine).
nohup sudo ./affinity.sh 2>/dev/null >/dev/null &


Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 02 novembre 2019 à 11:34
 :hello: :jap: :kookoo:
Rien de grave ;)
J'ai stoppé le projet sur pc où ça plante "grave" (ID: 31) et laissé sur le petit XEON (ID: 559) qui a l'air de bien aimer ce projet  :hyperbon:
Juste réduit à 4 UT en //
 :hello: :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 02 novembre 2019 à 13:24
Bon screen il fallait l'installer, done, j'ai essayé de lire de la doc et j'ai bataillé un moment, mais j'ai jeté l'éponge... je peux pas faire du "multi écran" dans ma session... les "Ctrl-a" avec des commandes derrières ne font absolument rien.

En revanche j'ai maintenant deux "sessions screen" en mémoire qui bouffent plein de CPU (je vois bien des processus screen) et mettent boinc à genoux et que je n'arrive plus à "killer" et je trouve aucune commande pour les fermer !!! Quelle merde ce truc !! J'ai été obligé de rebooter ma VM, formidable.

Bon là il est repassé sous LHC Atlas donc j'ai lâché l'affaire pour le moment, je verrai ton autre proposition avec "affinity"... quand j'aurai le courage :) (en tous cas merci pour les conseils)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 02 novembre 2019 à 14:11
Bon screen il fallait l'installer, done, j'ai essayé de lire de la doc et j'ai bataillé un moment, mais j'ai jeté l'éponge... je peux pas faire du "multi écran" dans ma session... les "Ctrl-a" avec des commandes derrières ne font absolument rien.

En revanche j'ai maintenant deux "sessions screen" en mémoire qui bouffent plein de CPU (je vois bien des processus screen) et mettent boinc à genoux et que je n'arrive plus à "killer" et je trouve aucune commande pour les fermer !!! Quelle merde ce truc !! J'ai été obligé de rebooter ma VM, formidable.

Bon là il est repassé sous LHC Atlas donc j'ai lâché l'affaire pour le moment, je verrai ton autre proposition avec "affinity"... quand j'aurai le courage :) (en tous cas merci pour les conseils)
Tuer » un screen.
https://doc.ubuntu-fr.org/screen#tuer_un_screen (https://doc.ubuntu-fr.org/screen#tuer_un_screen)
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 novembre 2019 à 19:36
Tuer » un screen.
https://doc.ubuntu-fr.org/screen#tuer_un_screen (https://doc.ubuntu-fr.org/screen#tuer_un_screen)

comme ça sinon  :D

(https://media.giphy.com/media/M11UVCRrc0LUk/giphy.gif)


Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 novembre 2019 à 14:23
Sinon y'a cette technique aussi :


(léger problème d'intolérance à la frustration)

@fzs : merci ta page est bien plus claire que celle que j'avais lu, j'en ENFIN compris comment utiliser ce bidule, c'est génial de truc !! (je comprends vite mais faut m'expliquer longtemps :lol:)

Maintenant je me suis fait des screen avec ce que j'utilise le plus souvent : htop, boinctui, mc... et je peux gaiement passer de l'un à l'autre !! en revanche je peux pas utiliser les "control+a n" ou "p" pour passer d'une fenêtre à l'autre, il me dit à chaque fois que y'en a pas d'autre, je dois retourner à la session principale (via "Control+a d") et relancer le screen voulu avec "screen -r xxx" (et je vois bien la liste de mes screen en cours avec "screen -ls") c'est dommage, j'ai raté un truc ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 03 novembre 2019 à 15:34
c'est dommage, j'ai raté un truc ?
Je ne sais pas pour le moment je n’utilise pas screen.
Mais essaye  Les pages du manuel man screen il y a peut-etre la solution.  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 novembre 2019 à 15:44
sinon tu peux essayer tmux C'est encore plus puissant : https://doc.ubuntu-fr.org/tmux (https://doc.ubuntu-fr.org/tmux)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 novembre 2019 à 16:04
Oula j'avais ouvert le man screen, des pages et des pages et des pages !!! l'enfer !! :D

Alors ne parlons même pas d'un truc "encore plus puissant" :lol:

Je vais déjà m’acclimater à screen, ce sera pas mal ;)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 03 novembre 2019 à 18:18
Est-ce qu'il peut être utile de limiter à 1 UT / machine ?
Un peu comme nanohub@home qui ne tourne que si on limite à 1 UT.
Vais essayer sur le pc sur lequel ça plante tout le temps, et HT Off.
 :hello: :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 03 novembre 2019 à 18:44
Sous Linux, j'ai 5 (t1) qui tournent en // sans problème. Je verrai ce que ça donne quand il attaquera les (t2) ...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 novembre 2019 à 22:05
Wesh Benoit, bon j'avais pas vu que t'avais mis ce script pour l'affinité sur un des sujet du forum et je l'ai remis sur un autre.

Mieux vaut plus que pas assez.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 04 novembre 2019 à 15:28
Chtite info. J'ai "hérité" de cette tâche/UT (https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=24915). Mon prédécesseur est ptet encore en train de la calculer. Contrairement aux autres avec des durées raisonnables, celle-ci est donnée pour 35 jours de calcul.
Vu la progression actuelle (0.9% pour 7h38), c'est bien le temps qu'elle devrait mettre.

@damotbe: Ce serait cool si tu pouvais implémenter un report de deadline comme chez RNA - à condition que les tâches envoient des infos intermédiaires au serveur, sinon ça me paraît compromis.
P.ex. je calcule actuellement sur une RNA (http://www.rnaworld.de/rnaworld/workunit.php?wuid=6330822) depuis 97j11h28'. La deadline initiale était au 17 août, sur le serveur du projet elle a été étendue de 3 semaines en 3 semaines (il me semble) et est actuellement au 23 novembre...

Edit: J'ai rien dit :D Elle est déjà terminée et validée :lol:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 novembre 2019 à 17:27
Je crois bien que QCPIA envoie déjà des "trickle messages" il me semble les avoir vu passer parmi les messages boinc, en revanche je sais pas à quoi il les utilise pour le moment.

T'arrive à avoir du RNA toi ?? trop forte !! ça doit faire littéralement des années que j'en ai pas eu, et pourtant le projet est régulièrement vanne ouverte sur mon Mac, mais ptet qu'ils en génèrent plus pour Mac...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 04 novembre 2019 à 18:30
[HS]La RNA c'était un coup de bol. C'est la première depuis janvier 2018 et la précédente datait de 2013. Vu que c'est de la VM tu devrais pouvoir en choper pour Mac aussi. Mais faut une priorité haute et une demande forcée régulière - ou un coup de bol, comme moi sur ma nouvelle installation Linux :D [/HS]
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 04 novembre 2019 à 23:59
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=31#248

(boboviz)
Citer
Le premier mois du projet est terminé. Des résultats préliminaires ? Le code est-il correct ? Avez-vous besoin de plus de puissance de calcul ?

(damotbe)
Citer
Nous avons écrit un article (La diversité chimique de l'ensemble de données limite la généralisation des prédictions d'apprentissage machine) qui a été accepté et sera publié (en libre accès) bientôt. Pour le moment, nous (les crunchers et nous) calculons un meilleur ensemble de données pour former l'IA et nous travaillons sur plusieurs IA (un article est en attente de révision). Nous travaillons également sur une base de données ouverte et des outils pour les contrôles qualité et l'enrichissement des informations chimiques.

Puissance de calcul ? Jamais assez ! ;-p

(Thomas)
Citer
Bonjour,
je suis le chimiste de ce projet. La publication mentionnée par Damotbe a été écrite lors du lancement du projet boinc. Mais je peux extraire quelques phrases de cet article pour montrer ce que nous avons à l'esprit :

" Résumé : L'ensemble de données QM9 est devenu la norme d'or pour les prédictions d'apprentissage machine (ML) de diverses propriétés chimiques. QM9 est basé sur le GDB, qui est une exploration combinatoire de l'espace chimique. Les prédictions moléculaires ML ont récemment été publiées avec une précision comparable à celle des calculs de la théorie fonctionnelle de la densité. De tels modèles de ML doivent être testés et généralisés sur des données réelles. PC9, un nouvel ensemble de données QM9 équivalent (seulement H, C, N, O et F et jusqu'à 9 atomes "lourds") du projet PubChemQC est présenté dans cet article. Une étude statistique des distances de liaison et des fonctions chimiques montre que ce nouvel ensemble de données englobe une plus grande diversité chimique. La régression de la crête du noyau, Elastic Net et le modèle de réseau neuronal fourni par SchNet ont été utilisés sur les deux ensembles de données. La précision globale de la prévision d'énergie est plus élevée pour le sous-ensemble QM9. Cependant, un modèle formé sur PC9 montre une plus grande capacité à prédire les énergies des autres ensembles de données :

" L'ensemble de données QM9 a environ 130 000 petites molécules, alors que notre PC9 a 119 000 (mais a été extrait d'un autre type de calculs). Le problème est que les résultats complets de la QM9 ne sont pas accessibles au public. Ils ont extrait certains résultats des calculs coûteux de la mécanique quantique et ont détruit le journal. Nous ne sommes pas satisfaits du PC9 qui est une simple démonstration qu'il faut plus de diversité, mais pour le moment le projet boinc vise à recalculer les molécules intéressantes de QM9 et PC9 avec le même niveau de calcul cette fois.

Tous les résultats seront disponibles sur la base documentaire quchempedia https:/quchempedia.univ-angers.fr lorsque cette plateforme sera un peu plus robuste (début 2020), à l'image de notre outil de contrôle qualité tel qu'écrit par mon collègue, nous ne sommes pas encore totalement satisfaits de NWChem. Avec le même projet boinc, Damotbe et moi-même, utilisons le gaussien (propriétaire) qui est très efficace. Mais Nwchem est open source...
Nous avons calculé environ 130 k sur 200 k grâce à votre aide !
Pour décembre nous espérons proposer à la communauté de calculer de nouvelles molécules qui n'existent peut-être même pas et ne sont pas stables afin d'aider l'outil d'apprentissage machine à mieux généraliser. Ces nouvelles molécules seront générées par une procédure d'apprentissage automatique. C'est trop long à expliquer ici.

Si vous avez des questions....
Chaleureusement, Thomas
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 novembre 2019 à 10:12
Je crois bien que QCPIA envoie déjà des "trickle messages" il me semble les avoir vu passer parmi les messages boinc, en revanche je sais pas à quoi il les utilise pour le moment.

T'arrive à avoir du RNA toi ?? trop forte !! ça doit faire littéralement des années que j'en ai pas eu, et pourtant le projet est régulièrement vanne ouverte sur mon Mac, mais ptet qu'ils en génèrent plus pour Mac...

Ils servent à rien  :lol:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 09 novembre 2019 à 10:17
J'ai la désagréable impression que QCPIA que j'ai limité à 2 tâches à la fois, pour avoir des chances que ça fonctionne sur le Mac (et ça fonctionne...) empêche mon boinc de demander des tâches d'autres projets sur les cores inoccupés : là par exemple j'ai WCG en parallèle, ben soit il fait 8 tâches WCG soit il fait 2 QCPIA...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 09 novembre 2019 à 12:58
J'avoue humblement avoir abandonné ...
Même en libérant BOINC et en limitant à 1 UT / crunchbox pour ce projet, je le retrouvais régulièrement en "attente de mémoire" ou "unmanageable ....." donc à l'arrêt.
 :desole: :jap: :hello:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 09 novembre 2019 à 13:17
ça fonctionne vraiment bien pour pas mal de gens, mais c'est vrai que pour certaines configurations ce n'est pas gérable. On commence à avoir assez de recul pour les aspects mémoire. Il faut qu'on regarde ça pour relâcher la pression sur les ressources.

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 09 novembre 2019 à 13:17
Je précise ce que je voulais dire : si j'ouvre les vannes d'un autre projet en parallèle, du moment que y'a des tâches QCPIA qui tournent (et ça chez moi, ça fonctionne) et ben les autres projets disent

"Sam  9 nov 13:14:31 2019 | wanless2 | Not requesting tasks: don't need (CPU: not highest priority project; AMD/ATI GPU: job cache full)"

parce qu'en fait il y a d'autres tâches QCPIA en attente de calcul, et donc il estime qu'il a besoin de rien alors qu'il a 6 cores qui se tournent les pouces !

Comment on peut résoudre cela ? J'ai bien souvent eu divers projets en parallèle et boinc arrivait bien à répartir la charge et utiliser tous les cores de CPU présents, même avec des réserve de travail sur tous les projets en cours...

On dirait qu'il y a quelque chose dans le paramétrage de QCPIA qui "étouffe" cela...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: TheStressMan le 09 novembre 2019 à 15:30
Bonjour,

J'ai un I7 qui tourne avec 6 tâches QuChemPedIA, 6 tâches PrimeGrid et 1 GPU Collatz (et 1 WUProp).

 :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 09 novembre 2019 à 19:44
Chez moi, pour 6 coeurs dispos pour Boinc, je m'étais retrouvée avec 3 QuChem t2 et 1 RNA + les projets NCI. Ça va bien que la VM n'a droit qu'à 4 coeurs et qu'il m'en reste encore 2 autres. Il n'y avait pas eu de lag non plus.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 09 novembre 2019 à 20:13
Une UT qui m'indique une durée estimée bien supérieure aux précédentes (30 jours au lieu de 7h) !  :eek:
(ça va être juste pour la deadline)
Celle qui est en cours de crunch en est à 1 jour 9h à 98.8 %
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 09 novembre 2019 à 21:04
Regarde un de mes posts un peu plus haut: j'en avais une donnée pour 35 jours et finalement elle n'a mis que 6 ou 9  heures ;)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 09 novembre 2019 à 21:11
Oui, je me doute bien qu'elle ne va pas durer 30 jours !  :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 10 novembre 2019 à 10:15
ça fonctionne vraiment bien pour pas mal de gens, mais c'est vrai que pour certaines configurations ce n'est pas gérable. On commence à avoir assez de recul pour les aspects mémoire. Il faut qu'on regarde ça pour relâcher la pression sur les ressources.

 :hello:
Vais relancer sur 1 machine. Tu conseillerais de limiter 1 UT / machine ou de laisser BOINC gérer ?
Ordi ID: 559 - Intel(R) Xeon(R) CPU E3-1241 v3 @ 3.50GHz - W10 PRO - 24 Go RAM - dernière version de Oracle VM
Merci  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 10 novembre 2019 à 10:25
 :hello:

1 UT pour tester et contribuer c'est déjà beaucoup pour nous.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 10 novembre 2019 à 13:48
Bon finalement j'avais retrouvé le Mac avec du WCG et du QCPIA en même temps et les 8 threads occupés... vas comprendre... mais le 2ème QCPIA s'était retrouvé suspendu... et maintenant je constate que WCG phagocyte tout et prend les 8 threads et j'ai 3 QCPIA suspendus maintenant.... :rhaa:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 10 novembre 2019 à 14:11
Je ne sais pas si c'est dû à l'ouverture de la chasse :desole:, mais mes débuts prometteurs n'ont pas eu une suite aussi favorable.

État: Tous (3027) · En cours (8) · Validation en attente (0) · Validation non concluante (0) · Valide (1373) · Invalide (363) · Erreur (1283)

En détails, 82 "vraies" erreurs, le reste c'est des annulations de tâches par le serveur ! :gun:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 10 novembre 2019 à 14:13
Wé 50% d'erreur c'est pas terrible en effet...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 12 novembre 2019 à 19:00
Petite info: Le fait de faire 1 QuChemPedIA t2 et 1 Cosmology docker (4 CPU VM) en // double quasiment le temps de calcul des Cosmo. Elles passent de 5 minutes à 9-10 minutes.
Sachant qu'il y a en plus une RNA (1 CPU VM) et 3 tâches NCI (WUprop, QCN, Radioactive) - le tout sur 6 cœurs et sous Linux
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 12 novembre 2019 à 19:41
Je n'arrive à finir aucune UT depuis quelques jours : elles sont interminables (2 jours passés) et si je dois redémarrer mon ordi (mise à jour ou coupure de courant), elles repartent avec un poucentage plus bas !  :/
(je ne sais pas si c'est lié aux autres projets CPU que je crunche : WCG avec le nouveau ARP ou Help Stop TB - Tbrada - Goofyx NCI...)
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 13 novembre 2019 à 20:40
Je n'arrive à finir aucune UT depuis quelques jours : elles sont interminables (2 jours passés) et si je dois redémarrer mon ordi (mise à jour ou coupure de courant), elles repartent avec un poucentage plus bas !  :/
(je ne sais pas si c'est lié aux autres projets CPU que je crunche : WCG avec le nouveau ARP ou Help Stop TB - Tbrada - Goofyx NCI...)

Je ne saurais pas dire, il y a vraiment des calculs très longs de temps en temps...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 13 novembre 2019 à 20:57
 :hello:

Notre premier article scientifique en lien avec le projet est disponible en Open Access et les données en Open Data.
"Dataset’s chemical diversity limits the generalizability of machine learning predictions"
https://jcheminf.biomedcentral.com/articles/10.1186/s13321-019-0391-2?fbclid=IwAR0LtM098-vkv0rJnoSV8Yo5ZbuFu4HXpZKsn3ekTTtA4rM0Sb5_HMSSSwI (https://jcheminf.biomedcentral.com/articles/10.1186/s13321-019-0391-2?fbclid=IwAR0LtM098-vkv0rJnoSV8Yo5ZbuFu4HXpZKsn3ekTTtA4rM0Sb5_HMSSSwI)

Avec une traduction du message de Thomas Cauchy qui explique l'article et les recherches à venir
Citer
Bonjour,

Je suis le chimiste de ce projet. La publication mentionnée par Benoit Da Mota a été écrite lors du lancement du projet boinc. Mais je peux extraire quelques phrases de cet article pour montrer ce que nous avons en tête.. :

"Résumé : L'ensemble de données QM9 est devenu la référence en matière de prédiction par Apprentissage Automatique (ML) pour de nombreuses propriétés chimiques. QM9 est basé sur la GDB, qui est une exploration combinatoire de l'espace chimique. Les prédictions à l'aide du ML ont récemment été publiées avec une précision comparable à celle des calculs de la théorie fonctionnelle de la densité. De tels modèles nécessitent d'être reproduits et généralisés sur des données réelles. PC9, un nouvel ensemble de données équivalents à QM9 (seulement H, C, N, O et F et jusqu'à 9 atomes "lourds") issu du projet PubChemQC est présenté dans cet article. Une étude statistique des distances de liaison et des fonctions chimiques montre que ce nouvel ensemble de données couvre une plus grande diversité chimique. Une régression Kernel Ridge, une régression Elastic Net et le modèle de réseau neuronal fourni par SchNet ont été utilisés sur les deux ensembles de données. La précision globale de la prédiction de l'énergie est plus élevée pour le sous-ensemble QM9. Cependant, un modèle entraîné sur PC9 montre une plus grande capacité à prédire les énergies des autres ensembles de données."

Le jeu de données QM9 contient environ 130 000 petites molécules, alors que PC9 en contient 119 000 (mais a été extrait d'un autre type de calculs). Le problème est que les résultats complets de la QM9 ne sont pas accessibles au public. Ils ont extrait certains résultats de calculs de mécanique quantique coûteux et ont détruit le fichier de données. Nous ne sommes pas satisfaits de PC9 qui est une simple démonstration qu'une plus grande diversité est nécessaire.

Pour le moment, le projet Boinc vise à recalculer les molécules intéressantes de QM9 et PC9 avec le même niveau de calcul cette fois. Tous les résultats seront disponibles sur la base de documents QuChemPedia https://quchempedia.univ-angers.fr lorsque cette plate-forme sera un peu plus robuste (début 2020), à l'image de notre outil de contrôle qualité tel que développé par mon collègue.

Nous ne sommes pas encore entièrement satisfaits de NWChem. Avec le même projet Boinc, Benoit Da Mota et moi-même, utilisons Gaussian (propriétaire) qui est très efficace. Mais Nwchem est open source....
Nous avons calculé environ 130 k sur 200 k grâce à votre aide !
Pour décembre, nous espérons proposer à la communauté de calculer de nouvelles molécules qui n'existent peut-être même pas et ne sont pas stables afin d'aider l'outil d'apprentissage machine à mieux généraliser. Ces nouvelles molécules seront générées par une procédure d'apprentissage automatique (IA).

Si vous avez des questions....
Amicalement
Thomas
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 13 novembre 2019 à 23:47
Tu veux dire ce que j'ai (un peu aidé par deepl) traduit le 04/11 à 23h59 ci-dessus ? :)

En revanche pour l'article complet... il a l'air très joli mais merci, non, sans façon :D

Et encore bravo !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 14 novembre 2019 à 07:43
Tu veux dire ce que j'ai (un peu aidé par deepl) traduit le 04/11 à 23h59 ci-dessus ? :)

En revanche pour l'article complet... il a l'air très joli mais merci, non, sans façon :D

Et encore bravo !

Je me suis permis d'améliorer la traduction   :lol: :smak:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 14 novembre 2019 à 10:49
Anéfé :) :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 15 novembre 2019 à 13:56
Pas une seule UT de finie depuis 8 jours : deadline atteinte et dépassée sur toutes les tâches...
Longueur interminable : bloqué à 99,8 ou 99,9 % et si je redémarre l'ordi (donc Boinc), recommence à 70 %...
(même problème sur plusieurs ordinateurs Windows)
J'arrête le crunch sur ce projet, pour l'instant, désolé !  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 16 novembre 2019 à 10:21
il semble que VirtualBox ne rend pas correctement la main à la fin de l'exécution. Notre calcul est terminé mais la VM ne s'arrête pas... Les UT > 24h méritent d'être vérifiée pour les abandonner si l'utilisation CPU est faible.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 novembre 2019 à 19:17
J'avais celle ci

Citer
Sam 16 nov 19:13:41 2019 | QuChemPedIA@home | task dsgdb9nsd_nwchem,bath03,011274982,nwchem,1572558056_0 aborted by user

qui prenait 1% de CPU, je l'avais déjà constaté hier mais j'avais laissé coulé, avec de 2 jours de calcul et même pas 90% affiché... donc je l'ai annulé (avec bcp de tristesse)

Celle la

Citer
Sam 16 nov 19:13:27 2019 | QuChemPedIA@home | task dsgdb9nsd_nwchem,bath03,012770060,nwchem,1572558099_0 resumed by user

a plus de un jour et 58% affiché mais elle consomme du CPU... alors je la laisse vivre.

(comme j'en avais 2 j'ai dû les suspendre à tour de rôle pour voir laquelle correspondait à quel processus...)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 01 décembre 2019 à 04:27
Ah ben il n'y a plus d'UT.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 décembre 2019 à 18:34
Oui, on est en train de faire des choix pour la seconde vague. J'espère qu'on aura de nouveaux jobs dans la semaine  :hyperbon:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 01 décembre 2019 à 22:30
Il ignore royalement mon app_config :

<app_config>
<project_max_concurrent>1</project_max_concurrent>
</app_config>

Citer
30-Nov-2019 13:07:04 [QuChemPedIA@home] Found app_config.xml

Et j'ai 2 tâches qui tournent en parallèle - et pas en exécution prioritaire...

 :cavachier:

Mmmm j'ai fait "relire les fichiers de config"... et là il en a arrêté une... bien... et j'ai plus que 6 tâches (avec autres projets) qui tournent sur les 8 slots....

 :??:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 décembre 2019 à 18:00
Un petit batch de jobs pour les gourmands  :hyperbon:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 décembre 2019 à 20:39
Un petit batch de jobs pour les gourmands  :hyperbon:

En fait, vous êtes des morfales !  :eek:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: titidestroy le 02 décembre 2019 à 22:34
Ma première UT en cours de calcul  :love:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 02 décembre 2019 à 22:35
Je suis arrivé trop tard pour ma part...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 décembre 2019 à 08:07
Si les tests sont concluants je vais pouvoir charger en WU  :hyperbon: :hyperbon: :hyperbon:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: titidestroy le 04 décembre 2019 à 15:24
J'ai reçu 23 UTs en 2 jours mais seules 3 sont validées. Les autres ont toutes été mises en pause car la VM n'était pas "manageable" et elles reprendront plus tard. Il y a quelque choses à faire pour qu'elles redémarrent ?

Je fait tourner du ODLK1 en parallèle.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 décembre 2019 à 22:24
On a remarqué un truc : si la VM est mise en pause, il y a des chances qu'elle n'avance plus jamais... De ce que j'ai pu voir c'est très dépendant de la personne qui calcule.

De mon côté, j'ai résolu le problème en ne calculant que sur un projet à fois (sauf les projets cpu non intensif) et en cochant la case "laisser les tâches processeurs non graphiques en mémoire lorsqu'elles sont suspendues" (dans préférences de calcul, onglet stockage et mémoire). Et bien sûr, la machine n'ai jamais éteinte ou en veille et je ne suspend jamais BOINC...   :pt1cable:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 04 décembre 2019 à 22:33
Oui, d'habitude, je laisse tourner mes ordis 24/24 et les UT se calculent plus ou moins vite selon les ordis (pas forcément le plus puissant plus vite...)
mais les coupures de courant (imprévisibles) font souvent repartir le calcul à 0 !
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: titidestroy le 04 décembre 2019 à 22:59
On a remarqué un truc : si la VM est mise en pause, il y a des chances qu'elle n'avance plus jamais... De ce que j'ai pu voir c'est très dépendant de la personne qui calcule.

De mon côté, j'ai résolu le problème en ne calculant que sur un projet à fois (sauf les projets cpu non intensif) et en cochant la case "laisser les tâches processeurs non graphiques en mémoire lorsqu'elles sont suspendues" (dans préférences de calcul, onglet stockage et mémoire). Et bien sûr, la machine n'ai jamais éteinte ou en veille et je ne suspend jamais BOINC...   :pt1cable:

Elles ont toutes redémarrées. 3 de plus validées, 3 invalides et les autres sont reparties en "VM job unmanageable". A suivre
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 05 décembre 2019 à 21:50
Depuis la reprise, 6 marquées invalides sur 180 calculées, aucune marquée en erreur.

Machine en Ryzen sous Ubuntu 18.04.3 LTS en kernel 5.0.0-37 : https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=35

Ça tourne bien avec le manchot ! :)

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 10 décembre 2019 à 22:04
Vu que tout se passe bien, je suis monté de 6 à 8 tâches en // sur un Ryzen 6C/12C, on ne peux pas monter à plus ?

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Maeda le 12 décembre 2019 à 23:42
 :hello:
Je vous rejoins sur ce projet sur ma machine Linux.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 13 décembre 2019 à 08:30
Si tu ne veux pas te prendre la tête, je te conseille de ne pas activer les applications beta. Tu n'auras que des tâches qui prennent 1 thread et tu pourras monter à 8 tâches à la fois. Selon ta machine, il faut prévoir un projet complémentaire.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Maeda le 13 décembre 2019 à 11:28
Merci pour l'info :jap:
Ça chauffe pas mal, donc pour l'instant 1 UT / 1 cœur à la fois.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 13 décembre 2019 à 15:32
Oui une seule UT à la fois j'en ai fait une règle de vie :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 14 décembre 2019 à 12:44
Ben déjà faut regarder l'erreur en question, dans le détail de la (des) tâche(s) sur ton compte sur le site.

--> récupères ce log et mets le ici - sauf si c'est si clair que tu n'en as pas besoin :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Maeda le 14 décembre 2019 à 12:51
J'ai eu une invalide, est-ce utile de poster le log dans le forum ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 14 décembre 2019 à 13:12
J'ai eu une invalide, est-ce utile de poster le log dans le forum ?

Non, seulement les erreurs. Les calculs invalides, c'est normal. Comme Thomas l'explique sur le forum officiel, on a besoin justement de vous pour filtrer. Normalement, les calculs invalides sont rapides, c'est le côté positif de la chose.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Maeda le 14 décembre 2019 à 13:33
OK :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Maeda le 14 décembre 2019 à 21:33
ERR_CPU_VM_EXTENSIONS_DISABLED
Me ferait penser aux instructions de virtualisation CPU désactivées dans le BIOS de la machine hôte.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 14 décembre 2019 à 22:19
oui, ou bien l'hyperviseur de Windows 10 qui monopolise les instructions de virtualisation... Jr suis pas très Windows, alors je préfère pas trop m'avancer ...
Première chose à regarder : le BIOS et vérifier que les instructions de virtulisation sont activées et les activer le cas échéant.
Ensuite si ça ne change rien, il me semble qu'il faut désactiver hyper-V et redémarrer. Parfois, il faut détacher/rattacher le projet.
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] alain65 le 15 décembre 2019 à 01:50
salut  :kookoo:
J'ai un Hp Z600 de 10 ans d'âge, il n'y pas d'instructions de virtualisation dans le bios...
J'ai été confronté au problème...
Je suppose que tu as un xéon 55xx ou 56xx et je confirme que ces cpu intègrent la technologie de virtualisation intel.

faut dire que le bios est bizarre sur ces machines. Bien entendu Il y a des paramètres pour la virtualisation, encore heureux
car ces stations de travail s'en servent souvent et que c'était un des critères de choix des ITs d'entreprise. Et en plus des
paramètres, il y en a plus que de coutume (plus que sur un PC de bureau).
Le problème du bios je dirai a la louche entre 2009 et 2012 est qu'ils y ont mis une option pour désactiver la virtualisation
dans "system Security" . C'est vrai qu'on irait pas chercher la... Mais en plus quand on désactive cette fonction cela
retire du bios tous les autres paramètres de virtualisation. Donc on peut croire qu'il n' y a pas d'instructions de virtualisation dans le bios
alors qu'au contraire il y a plus que la "normale".
Donc la procédure est:
1) aller dans "security>system securty" du bios (ou "sécurité>sécurité système" si ton bios est en français)
2) repèrer une ligne contenant : "VT ou Vt ou Vtd ou Vtx" je ne me souviens plus exactement et la mettre sur "enable"(ou activé)
3) ensuite : Fichier>Enregistrer les modifications, puis F10 pour sauvegarder la modification, ne pas démarrer mais éteindre complètement la machine.
4) redémarrer sur le bios, F10 si mes souvenir sont bons.
5) et la, les différents paramètres inhérents à la virtualisation te seront accessibles.

PS:
Je ne suis pas certain, car j'ai vu tellement de bios différents, mais possible que pour voir la ligne de la virtualisation dans
sécurité>sécurité système, il te faille créer un mot de passe. si c'est le cas la création du mot de passe se fait
également dans l'onglet "sécurité" (ou security). Après création du mot de passe (choisi le simple et avec des caractère communs azerty/qwerty), Il faut sauvegarder et éteindre complètement puis rallumer la machine. 

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] alain65 le 15 décembre 2019 à 02:06
Ooops je viens de voir que tu as modifié tes messages (c'est ça de répondre sur plusieurs fofos à la fois  :cpopossib:, on rate des trucs)

J'ai installé Hyper-V dans Windows, reste plus qu'a recevoir des unités.
En théorie ça ne devrait pas plus fonctionner, car Hyper-V ne fonctionne que si le paramètre d'accélération virtuelle
est en service dans le bios.
Mais ça fait tellement longtemps que je n'ai pas touché a un windows, que je me pose la question. Car des collègues
m'ont dit que W10 était capable de modifier des paramètres du bios...Alors pourquoi pas celui la, perso je trouve que
c'est du grand n'importe quoi, qu'un OS puisse modifier le bios, rien que pour des questions de sécurité... :cpopossib:

Enfin ça m'intéresse de savoir si Hyper-V fonctionne (pour ma culture perso).
Merci ;) 
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: cougarpelardou le 15 décembre 2019 à 09:04
Mes premiers points sur QchemPedia .  36 points) :moimoi: :oki: :winner: :fccpu:

http://cuculles.myminicity.com/ind (Visitez Saint jean de cuculles)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 décembre 2019 à 11:03
Est-ce que le projet voit VirtualBox?
Il doit y avoir un truc comme ça sur le site sur ton compte=>ordinateur=>détails:

Virtualization    Virtualbox (6.0.10r132072) installed, CPU has hardware virtualization support and it is enabled

C'est juste une piste...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 décembre 2019 à 14:27
 :/
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] alain65 le 15 décembre 2019 à 16:41

Bonjour  :kookoo:

Virtualbox (6.0.14) installé, le processeur est incompatible avec la virtualisation matérielle

Apparement les 2 processeurs sont trop vieux... 8 ans déjà...

Technologie de virtualisation Intel® (VT-x) ‡
Oui

Technologie de virtualisation Intel® pour les E/S répartis (VT-d) ‡
Oui

Technologie de virtualization Intel®VT-x avec tables de pagination
Oui

https://ark.intel.com/content/www/fr/fr/ark/products/52577/intel-xeon-processor-x5675-12m-cache-3-06-ghz-6-40-gt-s-intel-qpi.html

 :cavapobienmwa:
Bin... Qu'est ce tu veux de plus? déjà 8 ans c'est rien et puis les plus récents n'ont pas plus niveau virtualisation.
Exemple ici un I7 7700K : Processeur Intel® Core™ i7-7700K  (https://ark.intel.com/content/www/fr/fr/ark/products/97129/intel-core-i7-7700k-processor-8m-cache-up-to-4-50-ghz.html)

VT est bien activé dans le bios, j'ai désactivé Hyper-V dans Windows, retour à la config du départ.
Pour les gens qui auraient le même problème que toi tu devrais être un peu plus explicite. ;)
Cela veut il dire que tu as regardé où je t'ai dit et tu as constaté que VT était bien activé?
Ou bien que tu est aller voir et que c'est toi qui l'a activé?
Un truc intéressant aussi, pour ceux qui auraient aussi une workstation Hp de cette génération
serait de savoir si la création d'un mot de passe bios est nécessaire ou non pour avoir accès à tous
les paramètres du bios.

Que tu ais désactivé Hyper-V est une bonne chose de toute façon, je ne vois pas bien a quoi il aurait
servit vu que Damotbe dit : "Pour les plateformes Mac et Windows il est nécessaire d'installer Virtualbox "
Donc pas Hyper-V. Mais dans un but de compréhension d'où se situe ton problème, Hyper-V fonctionnait il?
S'il ne fonctionnait pas des messages d'erreurs auraient pu mettre des windowsiens sur la piste.

Ma conviction est que tes cpu xéons sont adaptés, je sais que le bios n'est pas des plus intuitifs, mais
il y a obligatoirement un réglage a y faire. CF :

Et en plus des paramètres, il y en a plus que de coutume (plus que sur un PC de bureau).
.............
.............
.............
Donc on peut croire qu'il n' y a pas d'instructions de virtualisation dans le bios alors qu'au contraire il y a plus que la "normale".


Tu sais c'est du matériel "pro" il peut faire beaucoup, ce n'est pas pour rien que c'est plus cher qu'un simple desktop... 

 :hello:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 décembre 2019 à 18:06
Tu veux dire que tu ne sais pas si ça marche parce que tu ne reçois pas d'UTs?

J'ai eu un problème similaire sous linux. BOINC ne voyait plus VB après un redémarrage de l'ordi.
Dans ce cas un redémarrage du client BOINC et une MaJ du projet suffisent.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 15 décembre 2019 à 18:12
J'ai eu un problème similaire sous linux. BOINC ne voyait plus VB après un redémarrage de l'ordi.
Dans ce cas un redémarrage du client BOINC et une MaJ du projet suffisent.

Ben quoi, ça marche avec Ubuntu ça devrait marcher avec windows.  :D
 :marcp:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 15 décembre 2019 à 22:20
Dans le doute, reboote ! :siflotte:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 15 décembre 2019 à 22:33
Tu veux dire que tu ne sais pas si ça marche parce que tu ne reçois pas d'UTs?

Le projet continu a envoyer des unités ?, même si elles finissent toutes en erreur ?.

 :coffeetime:

Aucune idée, le stagiaire n'a rien dit à ce propos et je n'ai rien fait dans ce but.   :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 15 décembre 2019 à 22:35
... et toujours pas d'autre stagiaire en vue ?
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 16 décembre 2019 à 07:39
... et toujours pas d'autre stagiaire en vue ?

nope  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 décembre 2019 à 22:18
Un seul stagiaire vous manque et tout est dépeuplé...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Ceclo le 17 décembre 2019 à 23:07
 :kookoo:
Est-ce que je pourrais avoir un code d'invitation svpl?  :sun:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: maxymus83 le 18 décembre 2019 à 00:42
@Ceclo , le code est sur la page d’accueil,en gras, regardes bien  ;)  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: maxymus83 le 18 décembre 2019 à 05:44
Si si, quand tu n'es pas loggé au site, il y est  :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Ceclo le 18 décembre 2019 à 07:39
 :jap:
Merci beaucoup! inscription faite et premières UT téléchargées!!
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Ceclo le 18 décembre 2019 à 10:29
Merci Maximus83 et Zark! C'est bon j'ai trouvé! même si des UT partent en erreur sur 3 PC sur 4... Il faut que je compare les installations VM et config en général avant d'appeler la cavalerie à la rescousse.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 18 décembre 2019 à 12:12
(https://media.giphy.com/media/V6GWsIj9WkOzu/giphy.gif)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 22 décembre 2019 à 10:37
Hello  :hello:

Vous en avez peut-être déjà discuté, mais voici les "problèmes" que je rencontre alors que j'aimerais faire tourner beaucoup plus ce projet :

PC ID: 27 : Impossible de faire tourner : communication with hypervisor failed - W10 - Intel(R) Core(TM) i7-7700HQ CPU - 16 Go RAM DDR4
PC ID: 559 : Temps de calculs restant anormalement long : de 15 heures à 2 jours - W10 - Intel(R) Xeon(R) CPU E3-1241 v3 - 24 Go RAM DDR3
PC ID : 31 : Parfois ça marche, parfois ça marche pas. Quand ça fonctionne, 1 UT < 1 heure. i7 4770 K - W7 - 24 Go RAM DDR3

A noter que les performances CPU des machine 559 et 31 sont "quasiment" identiques.

Pour finir, les possibilités de réglages dans les préférences prêtent un peu à confusion, AMHA.

Je pensais qu'en sélectionnant 1 UT et 6 CPU on calculait en mt. Apparemment ce n'est pas le cas ?

Merci beaucoup !

Bonnes fêtes.

 :hello: :jap: :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 22 décembre 2019 à 10:56
 :hello:
Hello  :hello:

Vous en avez peut-être déjà discuté, mais voici les "problèmes" que je rencontre alors que j'aimerais faire tourner beaucoup plus ce projet :

PC ID: 27 : Impossible de faire tourner : communication with hypervisor failed - W10 - Intel(R) Core(TM) i7-7700HQ CPU - 16 Go RAM DDR4
PC ID: 559 : Temps de calculs restant anormalement long : de 15 heures à 2 jours - W10 - Intel(R) Xeon(R) CPU E3-1241 v3 - 24 Go RAM DDR3
PC ID : 31 : Parfois ça marche, parfois ça marche pas. Quand ça fonctionne, 1 UT < 1 heure. i7 4770 K - W7 - 24 Go RAM DDR3

A noter que les performances CPU des machine 559 et 31 sont "quasiment" identiques.

Merci de ton aide et de tes retours. Je vois que ce sont uniquement des machines Windows donc avec des VM... ça marche pas bien cette affaire  :cpopossib:
Ceux qui réussissent bien à calculer sur le projet sont sous Linux. J'ai un unique PC sous Windows et franchement c'est mauvais...
Ce que je peux te proposer, c'est d'installer un Linux en VM et de faire tourner Boinc depuis la VM.

Pour finir, les possibilités de réglages dans les préférences prêtent un peu à confusion, AMHA.

Je pensais qu'en sélectionnant 1 UT et 6 CPU on calculait en mt. Apparemment ce n'est pas le cas ?

les préférences sont des limites, pas des paramètres de calcul. Ce sont des réglages de base des limites (inclus dans le code du BoincServer de Berkeley).

Joyeuses fêtes  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 22 décembre 2019 à 11:51
"c'est mauvais" : je dirais plutôt "c'est compliqué à bien stabiliser et ça nécessite pas mal d'effort de développement pendant le lancement" du projet, et je te rappelle que ça fait un bail que tu n'as plus de développeur sur ce projet.

LHC y sont très bien arrivé, mais il ont mis longtemps... donc rien que ça, en effet, ça remet un peu en cause l'intérêt du "maintenance plus simple car une seule appli", car s'il faut X fois plus de temps pour arriver à le stabiliser par rapport à des applis classiques...

Mais d'un autre côté combien de projets ne proposent qu'une appli sous windows parce qu'ils n'ont pas les ressources ni les compétences pour proposer une appli linux ou macOS ? (sans parler de android et autres clients exotiques) (qui d'un autre côté ne supportent pas le VB :))

Donc ça se discute.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: DocPhilou1966 le 22 décembre 2019 à 14:23
Merci pour ton retour :)

Comme je n'ai plus trop le temps ni l'envie de chercher comment ça marche tout ça,
et comme j'ai tout oublié de Ubuntu, ... je préfère passer par un échange de temps de calcul  :coffeetime: :D

Si quelqu'un veut bien cruncher du QuChemPedIA pour moi, je cruncherai pour lui / elle.

 :hello: :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 22 décembre 2019 à 16:08
Tiens, ça me fait pensé que je n'ai encore jamais crunché sur ce projet.

Un C2D avec 4 ou 6 GB de RAM, ça passe ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 22 décembre 2019 à 17:06
Si tu limites à une ou deux UTs, ça doit marcher, la consommation de RAM de l'application native est très raisonnable: 200Mo selon WUProp: http://wuprop.boinc-af.org/results/graph_ram.py?projet=QuChemPedIA@home&application=NWChem&plateforme=all

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 22 décembre 2019 à 17:12
TY, dans mes souvenirs c'était plus gourmand.
Je mets ça en parallèle de yoyo sur une de mes machines. (https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=991) :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 22 décembre 2019 à 18:12
Je fais tourner le projet là dessus (https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=565) et ça se passe très bien  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 24 décembre 2019 à 19:10
Cette tâche (https://quchempedia.univ-angers.fr/athome/result.php?resultid=275259) sur mon Mac en était à 1j 15h écoulé / temps de calcul 41mn / CPU moyen utilisé 1.74% (rapporté par BoincTasks, là le process utilise 1.6%)....

(http://pix.toile-libre.org/upload/original/1577213645.png)

Je l'ai tué sauvagement. Salope.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Maeda le 24 décembre 2019 à 23:11
Tu te laisses emporter par la dignité :D

https://invidio.us/watch?v=ntshMBCgxgA (https://invidio.us/watch?v=ntshMBCgxgA)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: cougarpelardou le 26 décembre 2019 à 08:41
Je quitte le projet quasiment toutes les  taches mise en pause ad vitam eternam par VM.

 :priz2tet: :hello:

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 26 décembre 2019 à 22:47
Tu te laisses emporter par la dignité :D

https://invidio.us/watch?v=ntshMBCgxgA (https://invidio.us/watch?v=ntshMBCgxgA)
:lol: je connaissais pas (ce film)

Je quitte le projet quasiment toutes les  taches mise en pause ad vitam eternam par VM.

 :priz2tet: :hello:
Moi j'ai un taux de succès fort honorable sur la VM mumux (https://quchempedia.univ-angers.fr/athome/results.php?hostid=34&offset=0&show_names=0&state=4&appid=) (non VB) et sur le vieux Mac (https://quchempedia.univ-angers.fr/athome/results.php?hostid=42&offset=0&show_names=0&state=4&appid=) (VB) même s'il souffre plus.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: cougarpelardou le 27 décembre 2019 à 15:35
Moi je suis sur windaube 10  :D Mais bon pour pour jouer à World of Tanks ou Warships c'est mieux que mumux ...

Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 27 décembre 2019 à 20:13
Moi je suis sur windaube 10  :D Mais bon pour pour jouer à World of Tanks ou Warships c'est mieux que mumux ...


J'ai pas relancé depuis plus d'un an, mais laisse savoir ton pseudo wargaming, au cas où je réinstallerai :o
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 27 décembre 2019 à 22:19
Bon rebelote une tâche après 15h qui ne consomme plus de CPU depuis vas savoir combien de temps (moyenne CPU 1,5% pour BT) et qui passe son temps à écrire des breakpoint pour rien dans ses log... j'ai décidé de faire une pause QCPIA sur le mac et j'ai tué toutes les tâches en attente, je laisse que sur le mimux.

Wait & see.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: cougarpelardou le 28 décembre 2019 à 14:38
 Pseudo HansAncelin mais en ce moment je n'ai pas le temps, je fais du montage video à partir des videos que j'ai prise lors de mes voyages en porte containers comme passagers.

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 08 janvier 2020 à 16:50
J'ai un Ryzen qui est 6c/12th, il est limité à 8 tâches simultanées, est-il possible d'augmenter le nombre de tâches en // ?

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 08 janvier 2020 à 18:57
Sur le site du projet, dans ton compte, préférences du projet [ https://quchempedia.univ-angers.fr/athome/prefs.php?subset=project ]: tu peux choisir le nombre de tâches et le nombre de CPU utilisés
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 13 janvier 2020 à 11:12
Le site semble down de mon côté  :/
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 13 janvier 2020 à 21:32
Le site est revenu mais j'ai beaucoup d'UTs invalides, je ne sais pas si c'est normal damotbe ?

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] Xenon le 30 janvier 2020 à 20:50
Vu sur le forum du site QuChemPedIA, 

Publié par: 30 Jan 2020, 9:03:31 UTC

Dear Crunchers,

Yesterday, I had to suspend an account for two weeks and remove credits, for obvious credit cheating. I'm quite annoyed that instead of doing science, I have to deal with this kind of behavior. We're small and we're short on time and it doesn't help scientific research...

The current credit system is too easy to fool, so I'm going to move to something simpler, robust and more generous on average: fixed credits. For short tasks (such as od9), I'm going to award 200 credits. This change requires draining the task queue. At that time, I will submit new tasks. These new tasks will be the opportunity to deploy the new code with checkpoints, system signals and affinity management for large systems (>32 cores). Some errors are to be expected, I can't test everything.

The last point concerns the requests for Gridcoin. I've been asked by the developers and by some of you. I am not against this possibility, but three points do not allow for the moment to be whitelisted. First, I can't guarantee to always have tasks waiting to be calculated. Secondly, the incentive to cheat will increase and I find that increasing the quorum is a waste of resources. Thirdly, I'm struggling with the server to keep it up. The upcoming arrival of larger molecules should settle the first point. For the second point, we are thinking about a validation by analyzing the result. I have already made many optimizations for the third point, at the moment it's much better.

Kindly
Benoit Da Mota

Et sa traduction fraçaise pour les anglophobes :

Publié par: 30 janv.2020, 9:03:31 UTC

Chers Crunchers,

Hier, j'ai dû suspendre un compte pendant deux semaines et retirer des crédits, pour fraude de crédit évidente. Je suis assez ennuyé qu'au lieu de faire de la science, je doive faire face à ce genre de comportement. Nous sommes petits et nous manquons de temps et cela n'aide pas la recherche scientifique ...

Le système de crédit actuel est trop facile à tromper, je vais donc passer à quelque chose de plus simple, robuste et plus généreux en moyenne: les crédits fixes. Pour les tâches courtes (comme od9), je vais attribuer 200 crédits. Cette modification nécessite de vider la file d'attente des tâches. À ce moment, je soumettrai de nouvelles tâches. Ces nouvelles tâches seront l'occasion de déployer le nouveau code avec des points de contrôle, des signaux système et une gestion des affinités pour les grands systèmes (> 32 cœurs). Des erreurs sont à prévoir, je ne peux pas tout tester.

Le dernier point concerne les demandes de Gridcoin. J'ai été demandé par les développeurs et par certains d'entre vous. Je ne suis pas contre cette possibilité, mais trois points ne permettent pas pour l'instant d'être mis sur liste blanche. Premièrement, je ne peux pas garantir d'avoir toujours des tâches en attente de calcul. Deuxièmement, l'incitation à tricher augmentera et je trouve que l'augmentation du quorum est un gaspillage de ressources. Troisièmement, je me bats avec le serveur pour le maintenir. L'arrivée prochaine de molécules plus grosses devrait régler le premier point. Pour le deuxième point, nous pensons à une validation en analysant le résultat. J'ai déjà fait de nombreuses optimisations pour le troisième point, pour le moment c'est beaucoup mieux.

Amicalement
Benoit Da Mota
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 30 janvier 2020 à 21:08
Rho ben alors Benoit pourquoi tu viens pas nous en parler ici ??

Moi je suis tout à fait pour le fait que tu affectes des crédits comme c'est le mieux pour toi et ton projet (sachant qu'il y aura toujours des connards tant que le monde sera monde) et pour que tu n'ouvres pas la porte à GC !!! :D

Bon courage et comme toujours n'hésites pas à nous solliciter pour tout test nécessaire !!

Cheers ! Haut les coeurs !


PS : merci Xenon pour l'info et la trad
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 30 janvier 2020 à 21:32
Benoit... = @damotbe
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 janvier 2020 à 00:29
Ben oui, sa signature explique son pseudo :D

(c'est la faute à Xenon ! c'est la faute à Xenon ! :lol:)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] Xenon le 31 janvier 2020 à 01:45
Nemo auditur propriam suam turpitudinem allegans
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 janvier 2020 à 18:09
Moi mon extraordinaire souvenir c'est Xenon 2 sur Amstrad PC 8086

(https://i2.wp.com/www.rocketbox.fr/wp-content/uploads/2015/07/Xenon-2-Megablast.jpg)

Comment qu'il était trop bon ce jeu !!
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] Xenon le 31 janvier 2020 à 21:34
Bravo Zark, mon pseudo fait effectivement référence à ce flipper. C'est le premier sur lequel j'ai vraiment appris à jouer. Pour l’époque, c’est-à-dire il y presque 40 ans, il était plutôt high tech comme on dit aujourd’hui. Nostalgie…
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 février 2020 à 18:10
Coucou  :hello:

Le forum du projet et l'administration du serveur me prends beaucoup de temps... Et avant ça, il y a les enseignements et la recherche.

J'ai eu un gros problème de crédits avec un utilisateur qui avait beaucoup de VM très très lentes pour stocker des WUs (J'ai été un peu rude avec lui...).
Je vais changer vers des crédits fixes pour éviter ce genre d'effet. En plus, je pourrais ajuster les points, alors que je n'avais aucune maîtrise avec l'autre système. L'idée c'est aussi d'être plus généreux en moyenne. J'ai aussi implémenté un validateur, plutôt que de vérifier plus tard (je donnais des points et avant d'utiliser les résultats je nettoyais). C'est pas parfait, mais ça fait bien l'affaire. J'ai des nouveaux jobs prêts depuis quelques jours déjà, mais je vais attendre le vidage des tâches en cours pour tester et changer le système de crédit.

De nombreux utilisateurs Gridcoin demandent que le projet soit "whitelisté", ce qui est compréhensible mais qui m'inquiète un peu. C'est aussi pour ça que je dois prendre certaines dispositions.

Amicalement.
Benoit
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 02 février 2020 à 12:58
 :kookoo: :+1:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 02 février 2020 à 15:40
Je me permets de donner mon avis sur GridCoin, il me parait excessivement dangereux d'être "whitelisté". Cela risque de créer un afflux énorme de personnes qui vont avoir de grosses attentes, voir des exigences.

Le projet ne me semble pas avoir les ressources pour encaisser cela. Je trouve qu'il faut bien estimer le ratio gain de puissance/temps consacré avant de se lancer, comme tu dis, l'administration du forum et du serveur prennent des temps énormes, sont parfois répétitifs, pour un gain pas toujours évident.

Bon courage et bonne continuation.

Je garde les vannes ouvertes sur deux machines Ryzen sous Ubuntu mais j'ai constaté que tu as déjà de la puissance à disposition en interne ;)

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Azlem le 09 février 2020 à 13:12
Bonjour, je me suis inscrit sur ce projet il y a peu, mais après quelques WU réussies (enfin je suppose puisque j'ai eu des points) toutes mes autres WU se terminent ainsi.

09/02/2020 12:10:21 | QuChemPedIA@home | Task od9_athome_b3lyp-321gd,batch56,000564247,nwchem,1580803032_0 postponed for 86400 seconds: VM job unmanageable, restarting later.

Bien entendu, le travail ne reprends jamais, et même si je redémarre BOINC, le travail reprends effectivement, mais s'arrête à nouveau après quelques heures de la même manière.

J'ai coupé la demande de nouveau travail et j'essaye les tâches une par une comme j'ai pu le lire ça et là, mais rien n'y fait. Peut-être mon matériel n'est il pas de taille pour ce projet  :D

Quelqu'un à déjà vécu cette situation ? Est-il possible pour moi d'arranger les choses ou devrais-je annuler mon stock de tâches ?

Merci et bonne journée à tous !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 09 février 2020 à 13:33
 :hello:
Le projet est en phase beta.
Plus précisemment il y a des problèmes de VM sous Windows et ils y travaillent...
Celà ne vient pas de toi.

La tâche en question:
https://quchempedia.univ-angers.fr/athome/result.php?resultid=1096851

Il peut être interressant de suivre le forum du projet (https://quchempedia.univ-angers.fr/athome/forum_index.php) pour se renseigner sur l'avancement des choses.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Azlem le 09 février 2020 à 14:08
J'avais dû mal comprendre alors, je pensais que la beta concernait les unitées NWChem long uniquement et que celles que j'ai étaient déjà "rôdées" en quelque sorte. Du coup pour celles qu'il me reste, dois-je persister à essayer de les calculer ou devrais-je les annuler pour ne pas les bloquer ? (désolé mais je ne m'y connait pas trop en terme de fonctionnement du calcul distribué et je ne voudrait pas faire de la rétention de tâches que je ne pourrais traiter correctement)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 09 février 2020 à 14:24
C'est à toi de voir.
Tu en a certaines qui se sont terminées...
Tu peux savoir si le CPU calcule vraiment dans les propriétés de la tâche dans BOINC Manager.

Je ne pense pas que celà gène le projet si tu gardes les tâches au contraire celà permet de les tester.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 09 février 2020 à 18:44
Bon j'ai recommencé a  cruncher sur le projet.  :hyperbon:
L'utilisation processeur est a 100% et ça c'est bien.  :jap:
Citer
8 Feb 2020, 13:05:02 UTC    9 Feb 2020, 15:15:21 UTC    Terminé et validé    1,180.73    1,136.70    200.00    NWChem v0.17 (t1)
x86_64-pc-linux-gnu

Je vais rester un bon moment.  :kookoo:
 
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 09 février 2020 à 19:45
C'est un problème classique des projets à VM quand il sont pas encore stable, le développement / réglage n'est pas facile de ce point de vue là, si tu lis les 12 précédentes pages de ce topic je suis sûr qu'on en parle :siflotte:

(et on a même dû citer des threads d'autres projets qui parlaient de cette problématique)

Sur linux le stagiaire avait eu le temps de développer une appli sans VB, et elle est plus stable.

Mais c'est parce que l'appli a d'abord été faite sous VB qu'elle a pu être proposée tout de suite sur les 3 OS de base en peu de temps (ce qui ne se serait pas produit avec une appli native par OS), et puis le stagiaire est parti, et il n'a pas été remplacé...

On se rend pas assez compte de l'importance d'un bon stagiaire :gnu:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 10 février 2020 à 23:47
Bon ben j'ai récupéré une flopée de tâches (https://quchempedia.univ-angers.fr/athome/results.php?hostid=34&offset=20&show_names=0&state=0&appid=) sur la VM minux, toutes des "NWChem v0.17 (t1) x86_64-pc-linux-gnu", et ben ça chie : 2 qui sont à 100% depuis plus d'un jour et prennent 0 de CPU chacune, j'avais constaté ça hier et je m'étais dis "laissons leur une chance" et donc en fait plus d'un jour à 0% CPU x 2 = 0 = caca...

stderr.txt vide dans le slot + dernière mise à jour de fichier dans le slot hier à 20h....

J'ai donc tué ces deux là en voyant ce qui va se passer avec les autres.

... après quelques minutes elles prennent toujours 0% de CPU, le % d'avancement des tâche progresse rapidement (j'en suis à plus de 10% chacune le temps d'écrire ces lignes) et toujours 0 CPU, même comportement des fichiers dans le slot (rien dans le stderr.txt)..........
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 11 février 2020 à 11:17
Bon ben j'ai récupéré une flopée de tâches (https://quchempedia.univ-angers.fr/athome/results.php?hostid=34&offset=20&show_names=0&state=0&appid=) sur la VM minux, toutes des "NWChem v0.17 (t1) x86_64-pc-linux-gnu", et ben ça chie : 2 qui sont à 100% depuis plus d'un jour et prennent 0 de CPU chacune, j'avais constaté ça hier et je m'étais dis "laissons leur une chance" et donc en fait plus d'un jour à 0% CPU x 2 = 0 = caca...

stderr.txt vide dans le slot + dernière mise à jour de fichier dans le slot hier à 20h....

J'ai donc tué ces deux là en voyant ce qui va se passer avec les autres.

... après quelques minutes elles prennent toujours 0% de CPU, le % d'avancement des tâche progresse rapidement (j'en suis à plus de 10% chacune le temps d'écrire ces lignes) et toujours 0 CPU, même comportement des fichiers dans le slot (rien dans le stderr.txt)..........

La 0.17 et 0.18 marche très très fort pourtant... (99,1% de succès sur 24h pour environ 9000 jobs)
Tu as installé quoi comme distribution Linux ? (perso, j'ai la LinuxMint 19.3 sur VirtualBox qui fonctionne très bien)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 11 février 2020 à 14:24
Ben c'est la même distrib débian depuis le début avec laquelle j'ai déjà fait pas mal de QCPIA... !?

A part faire des update/upgrade sur les paquets, je n'ai rien changé depuis que j'ai cette VM nunux.

La mort dans l'âme j'ai annulé toutes les tâches en attente avant de partir ce matin, ça faisait quand même bientôt 2 jours qu'il ne calculait plus rien... (les tâches arrivaient à 100% sans rien faire puis tournaient jusqu'à ce que mort s'en suive).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 11 février 2020 à 21:43
Cool j’en ai choper une longue.  :hyperbon:
Citer
   11 Feb 2020, 18:46:26 UTC    12 May 2020, 18:46:26 UTC    En cours    ---    ---    ---    NWChem long v0.18 (t1)
x86_64-pc-linux-gnu

Date limite 12 mai,je l'aurais fini bien avant.  :kookoo:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 12 février 2020 à 09:40
Vérifie qu'elle fait bien des calculs :siflotte:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 12 février 2020 à 17:37
Ben c'est la même distrib débian depuis le début avec laquelle j'ai déjà fait pas mal de QCPIA... !?

A part faire des update/upgrade sur les paquets, je n'ai rien changé depuis que j'ai cette VM nunux.

La mort dans l'âme j'ai annulé toutes les tâches en attente avant de partir ce matin, ça faisait quand même bientôt 2 jours qu'il ne calculait plus rien... (les tâches arrivaient à 100% sans rien faire puis tournaient jusqu'à ce que mort s'en suive).

Si je comprends bien, ça marchait avant...

La grosse différence c'est que maintenant, mon wrapper gère les signaux pour suspendre et reprendre, ainsi que les checkpoints et la progress bar. Il faudrait regarder s'il y a des processus endormis portant les doux noms de : mpirun ou nwchem
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 12 février 2020 à 20:14
Han du Open MPI ! J'en fais encore des cauchemars du temps où c'était utilisé sur FAH ... :priz2tet:

Longue vie aux threads ! :sun:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 13 février 2020 à 09:49
Une idée du temps de calcul d'une UT longue qui me prend 4 threads ? J'en suis à 7h.

L'UT a déjà été calculé avec succès sur un Ryzen 1700 en ~11h.

Elle n’apparaît pas dans WuProp, est-elle regroupée avec les NWChem "standard" ?

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 13 février 2020 à 17:45
Si je comprends bien, ça marchait avant...
Vi.

Citer
La grosse différence c'est que maintenant, mon wrapper gère les signaux pour suspendre et reprendre, ainsi que les checkpoints et la progress bar. Il faudrait regarder s'il y a des processus endormis portant les doux noms de : mpirun ou nwchem
Ben là j'avais tout viré, je vais laisser un peu de temps et je testerai à nouveau.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 15 février 2020 à 02:31
Citer
Service Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.
Apache/2.4.25 (Debian) Server at quchempedia.univ-angers.fr Port 443
:??: :??:

De nouveau en ligne.  :love:
Citer
   13 Feb 2020, 15:11:32 UTC    15 Feb 2020, 7:08:50 UTC    Terminé et validé    143,838.00    256,139.70    5,000.00    NWChem long v0.18 (t4)
x86_64-pc-linux-gnu
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 15 février 2020 à 15:02
Citer
Service Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.
Apache/2.4.25 (Debian) Server at quchempedia.univ-angers.fr Port 443
:??: :??:

De nouveau en ligne.  :love:
Citer
   13 Feb 2020, 15:11:32 UTC    15 Feb 2020, 7:08:50 UTC    Terminé et validé    143,838.00    256,139.70    5,000.00    NWChem long v0.18 (t4)
x86_64-pc-linux-gnu

Le serveur (une machine virtuelle KVM) se suspend à 2h00 pour une sauvegarde journalière (entre 1h et 2h), puis se remet en marche.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 15 février 2020 à 16:12
C'est un détecteur de couchent-tard :D
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 15 février 2020 à 16:30
C'est un détecteur de couchent-tard :D
Pas du tout c'est de l'insomnie et c'est pas du tout la même chose et c'est pas marrant, je vous pris de me croire on veut dormir et y arrive pas ,alors  :rhaa: :rhaa:  :priz2tet: :priz2tet:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 15 février 2020 à 22:07
Pas du tout c'est de l'insomnie et c'est pas du tout la même chose et c'est pas marrant, je vous pris de me croire on veut dormir et y arrive pas ,alors  :rhaa: :rhaa:  :priz2tet: :priz2tet:

Je compatis...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 16 février 2020 à 13:49
Pas du tout c'est de l'insomnie et c'est pas du tout la même chose et c'est pas marrant, je vous pris de me croire on veut dormir et y arrive pas ,alors  :rhaa: :rhaa:  :priz2tet: :priz2tet:
Profites-en pour développer un projet boinc ! ;)

Ou alors fais stagiaire (de nuit) chez damotbe, il en cherche un :D

Mais bon trêve de rigolade oui je suppose bien que ça doit être difficile à vivre... essaye la thérapie par le froid (https://www.blogblogyaquelquun.com/bref-jai-teste-la-cryotherapie/).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 février 2020 à 10:15
J'ai chopé une UT NWChem long (t1) !  :D
Elle crunche depuis hier : 14 % - 14h... (sur mon vieux Centrino Duo sous Ubuntu)  :coffeetime:

[edit]
Bon... "annulé par le serveur" !  :/
[/edit]
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 18 février 2020 à 12:08
C'est assez moche d'annuler des tâches en cours de calcul...

Je dirais même plus c'est pas très très gentil !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 février 2020 à 18:52
Citer
Dear crunchers.

Thank you very much ! You are a really great help.

Initially, only two hundred "NWchem long" workunits should have been submitted for testing. Your numerous results and also the numerous failures allow us to better evaluate parameters for this new simulation. I still have to write some scripts for the new inputs, but I should be able to submit jobs soon. Don't hesitate to cancel in progress workunits (NWchem long).

Cheers,

Benoit @damotbe
Citer
Chers cruncheurs.

Merci beaucoup ! Vous êtes vraiment d'une grande aide.

Au départ, seules deux cents unités de travail "NWchem long" auraient dû être soumises à des tests. Vos nombreux résultats et aussi les nombreux échecs nous permettent de mieux évaluer les paramètres de cette nouvelle simulation. Je dois encore écrire quelques scripts pour les nouvelles entrées, mais je devrais pouvoir soumettre des travaux bientôt. N'hésitez pas à annuler les unités de travail en cours (NWchem long).

A la vôtre,

Benoit @damotbe

Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: titidestroy le 26 février 2020 à 10:39
Je viens de me remettre à calculer sur le projet et mes premières tâches validées quelque soit leur durée se créditent toutes de 200 points.
C'est nouveau ? J'ai loupé quelque chose ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 26 février 2020 à 10:58
Regarde dans l'onglet "notifications" de ton BM, tu devrais y trouver un message de damotbe où il explique qu'il va passer à des crédits fixes.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 27 février 2020 à 18:59
J'ai de nouvelles NWChem Long (sur plusieurs ordis)
et une s'est finie et crédite 5000 points (200 pour les NWChem) !  :sun:
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2192613
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: erik le 27 février 2020 à 19:23
J' ai 4 longues qui sont parties en erreur, apparemment après un redémarrage de l'ordi  :/

https://quchempedia.univ-angers.fr/athome/result.php?resultid=2192844
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2192634
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2192533
https://quchempedia.univ-angers.fr/athome/result.php?resultid=2192505
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 28 février 2020 à 14:51
à chaque fois le plantage est sur l'étape TD-singlet. Pendant mes tests sur ma machine, j'ai eu des problèmes avec les checkpoints à cette étape, mais je pensais avoir résolu le problème...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 11 mars 2020 à 20:37
Salut damotbe,

je viens de passer le cap du million sur QuChemPedIA mais je n'ai malheureusement plus accès à la machine Ryzen 6C/12T qui a permis cela.
J'espère pouvoir reprendre après le RAID sur une autre machine plus petite (4C/8T) et moins disponible malheureusement  :/

Bonne continuation d'ici là !
 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 12 mars 2020 à 11:21
merci  :hello:
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Davlabedave le 15 mars 2020 à 08:11
Citation de: fzs600
Pas du tout c'est de l'insomnie et c'est pas du tout la même chose et c'est pas marrant, je vous pris de me croire on veut dormir et y arrive pas ,alors  :rhaa: :rhaa:  :priz2tet: :priz2tet:
Bienvenue au club , du coup, j'ai pris un taf de nuit   :priz2tet: et suis un zombie le jour  :D
Edit : J'ai dormi une heure en cette nuit de repos  :clafete: :bipbip:
Possible d'avoir un code ? Marci
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 15 mars 2020 à 09:14
Le code d'invitation se trouve sur la page d'accueil du projet, juste sous le titre ;)
Citer
Invitation code : 3VwMu3-eTCg32
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Davlabedave le 15 mars 2020 à 09:28
Le code d'invitation se trouve sur la page d'accueil du projet, juste sous le titre ;)
Citer
Invitation code : 3VwMu3-eTCg32
Ca m'apprendra a allez suis join directement  :D , après c'est une seconde nature des que je vois ou j'entend joint je cours  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 15 mars 2020 à 14:36
Pas sûr que ça améliore la qualité du crunch :lol:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: zelandonii le 17 mars 2020 à 07:50
C'est quoi ce code ?! Ou est-ce qu'il est demandé ?
Pareil que pour Davlabedave, je devrais poser plus de question avant de rejoindre... :cpopossib:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 17 mars 2020 à 08:42
C'est le code d'invitation dont on a besoin pour créer son compte sur le projet. Au début, pour l'alpha-testing, il était confidentiel, maintenant il sert à éviter les spammeurs qui ne crunchent pas.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: zelandonii le 17 mars 2020 à 11:20
Merci @Modesti,

Mon compte a bien été créé et sans code d'invitation...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Jeannot Le Tazon le 20 mars 2020 à 22:27
 :kookoo: Je me suis inscrit !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 30 mars 2020 à 10:24
Je relance une machine dessus après le RAID et je vois que certaines tâches déjà anciennes sont toujours en "attente de validation", comme celle-ci pra exemple : https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=1168746

Normal ? Pas normal ?

 :hello:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 30 mars 2020 à 10:30
Je relance une machine dessus après le RAID et je vois que certaines tâches déjà anciennes sont toujours en "attente de validation", comme celle-ci pra exemple : https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=1168746

Normal ? Pas normal ?

 :hello:
Normal.  :kookoo:
Citer
État: Tous (7141) · En cours (456) · Validation en attente (328) · Validation non concluante (92) · Valide (4925) · Invalide (426) · Erreur (914)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 30 mars 2020 à 10:35
Pareil : 31 en attente !  :coffeetime:

... d'un autre côté, c'est du quorum 2, donc si les cruncheurs ont abandonné (ou mis de côté) des tâches pour le raid (ou autre challenge)...
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 31 mars 2020 à 08:07
Oui, la complétion des séries de tâches est vraiment longue... Certains prennent des tâches et ne les feront jamais et il faut attendre la deadline pour redonner la tâche à un autre participant. Par manque de chance, c'est possible que ce processus se répète plusieurs fois. Je ne sais pas s'il existe un moyen de régler le problème en gardant le quorum de 2 :??:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 31 mars 2020 à 08:19
Oui, la complétion des séries de tâches est vraiment longue... Certains prennent des tâches et ne les feront jamais et il faut attendre la deadline pour redonner la tâche à un autre participant. Par manque de chance, c'est possible que ce processus se répète plusieurs fois. Je ne sais pas s'il existe un moyen de régler le problème en gardant le quorum de 2 :??:
En soi le Pending n'est pas un probleme,a partir du moment ou UT a été calculé avec succès pourquoi s'alarmer ?  :??:
Ut est la en Pending bien au chaud en attente de validation,ma fois c'est pas la fin du monde.   :coffeetime:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 31 mars 2020 à 08:28
Ça peut parfois être très long... Cf. ma tâche RNA (http://www.rnaworld.de/rnaworld/workunit.php?wuid=6330822), j'espérais que mon wingman la terminerait peu de temps après moi, mais on dirait qu'il prend son temps (au moins, c'est toujours le même :D )
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 31 mars 2020 à 08:59
Ça peut parfois être très long... Cf. ma tâche RNA (http://www.rnaworld.de/rnaworld/workunit.php?wuid=6330822), j'espérais que mon wingman la terminerait peu de temps après moi, mais on dirait qu'il prend son temps (au moins, c'est toujours le même :D )
Oui avec RNA on est sur une autre planète.  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 31 mars 2020 à 09:29
L'unité que je montrai n'est actuellement pas distribuée, c'est plutôt cela que je voulais souligner.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 31 mars 2020 à 12:48
Mais que veut dire le "non distribué" du 3ème homme dans la liste de tâches ? c'est pas lui le problème plutôt ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 31 mars 2020 à 13:02
AMHA, ça veut dire qu'une tâche est prête pour cette UT (quorum 2) mais que personne ne l'a encore chargée !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 31 mars 2020 à 13:30
AMHA, ça veut dire qu'une tâche est prête pour cette UT (quorum 2) mais que personne ne l'a encore chargée !
... ou que Boinc ne l'a pas encore  mise dans la liste de distribution
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: nabz le 31 mars 2020 à 15:46
Oui, la complétion des séries de tâches est vraiment longue... Certains prennent des tâches et ne les feront jamais et il faut attendre la deadline pour redonner la tâche à un autre participant. Par manque de chance, c'est possible que ce processus se répète plusieurs fois. Je ne sais pas s'il existe un moyen de régler le problème en gardant le quorum de 2 :??:

En tant qu'admin de projet, tu peux essayer de distribuer les tâches à 3 voire 4 utilisateurs différents, tout en restant en quorum 2.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 01 avril 2020 à 12:58
En tant qu'admin de projet, tu peux essayer de distribuer les tâches à 3 voire 4 utilisateurs différents, tout en restant en quorum 2.

ça doit être un réglage dans un obscur script ou fichier de config... C'est vraiment la croix et la bannière à administrer un serveur Boinc!
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: GuL le 01 avril 2020 à 21:54
Salut Damotbe,
Tu dois aussi pouvoir diminuer la durée maximale de la tache, si tu veux pouvoir la renvoyer plus vite.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 02 avril 2020 à 11:43
Salut Damotbe,
Tu dois aussi pouvoir diminuer la durée maximale de la tache, si tu veux pouvoir la renvoyer plus vite.

Salut GuL  :hello:
tu parles de la deadline je suppose. J'ai essayé de trouver un compromis pour que les volontaires ne soient pas découragés par le risque de rendre en retard.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Xe120 le 02 avril 2020 à 18:52
Tu peux étudier la possibilité d'extension de deadline avec l'envoi de trikkles, ça permet de garder les caches restreints et de ne pas être méchant avec les vieux tacos.  :hello:
c.f. primegrid qui l'utilise, il y a peut-être quelques admins qui trainent sur le discord primegrid qui pourront te filer un coup de main
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 avril 2020 à 10:42
Je savais pas que PG utilisait les trickles, je me souvenais juste de CPDN.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 avril 2020 à 14:52
j'ai déjà essayé les trickles... ça demande trop de d'investissement et ça ne répond pas vraiment à ma problématique. J'aimerais donné le travail à 3-4 personnes et seraient crédités les deux premiers. Les autres recevraient une annulation de la tâche (sauf qi les deux premiers ne trouve pas le bon résultat).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 avril 2020 à 17:15
Les deux autres seraient jamais crédités pour leurs calculs :??:

Ça va pas beaucoup attirer les crunchers ça... !! :D
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: GuL le 03 avril 2020 à 19:33
Salut GuL  :hello:
tu parles de la deadline je suppose. J'ai essayé de trouver un compromis pour que les volontaires ne soient pas découragés par le risque de rendre en retard.
Oui, Damotbe, c'était ça. La deadline est de combien ?
Titre: Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 avril 2020 à 09:53
Oui, Damotbe, c'était ça. La deadline est de combien ?

de mémoire, j'ai mis 15 jours pour les courtes et 3 mois pour les longues
Titre: Re : Re : Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 05 avril 2020 à 09:59
Oui, Damotbe, c'était ça. La deadline est de combien ?

de mémoire, j'ai mis 15 jours pour les courtes et 3 mois pour les longues
Oui j'ai des longues a rendre avant le 4 juillet. 
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 18 avril 2020 à 17:26
Je regardais la progression des badges des membres de l'AF sur QuChemPedIA
et j'ai vu que @damotbe (créateur du projet) a déjà atteint les 50M
(https://quchempedia.univ-angers.fr/athome/img/50M.png) 50 M
alors j'ai regardé l'historique du thread : https://forum.boinc-af.org/index.php/topic,7838.msg490470.html#msg490470
et j'ai vu qu'il y a, quand même, encore de la marge !  :coffeetime:
(https://forum.boinc-af.org/index.php?action=dlattach;topic=7838.0;attach=8069;image) 5B
https://forum.boinc-af.org/index.php/topic,7838.msg490551.html#msg490551
 :oki:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 23 avril 2020 à 18:29
J'ai attaché le projet sur le serveur dédié Joes (bi-Xeon X5650 - 20 Go RAM - Ubuntu 18.04) :
j'ai des UT t1, t2, t8... qui se chargent mais se terminent rapidement (elles sont en attente de validation mais je pense qu'elles sont invalides)
Citer
Stderr output
<core_client_version>7.14.2</core_client_version>
<![CDATA[
<stderr_txt>
11:18:14 (17779): wrapper (7.5.26014): starting
11:18:14 (17779): wrapper: running worker.sh ()
Jobs starts with 2 cores
STEP OPT : Starting
Create output archive
OPT.out
Normal termination.
11:18:17 (17779): worker.sh exited; CPU time 1.688720
11:18:17 (17779): called boinc_finish(0)

</stderr_txt>
]]>

quoique c'est différent des UT invalides
Citer
Stderr output
<core_client_version>7.14.2</core_client_version>
<![CDATA[
<stderr_txt>
11:17:41 (17417): wrapper (7.5.26014): starting
11:17:41 (17417): wrapper: running worker.sh ()
Jobs starts with 1 cores
OPT
Create output archive
*** WARNING : deprecated key derivation used.
Using -iter or -pbkdf2 would be better.
OPT.out
Normal termination.
11:17:44 (17417): worker.sh exited; CPU time 1.777874
11:17:44 (17417): called boinc_finish(0)

</stderr_txt>
]]>

Toutes UT sur le serveur : https://quchempedia.univ-angers.fr/athome/results.php?hostid=2008&offset=0&show_names=0&state=0&appid=
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Dudumomo le 27 avril 2020 à 04:37
Salut, ne pas oublier de cocher la case dans les perferences du projet, pour l'export de vos stats.

Je viens de voir que je ne l'avais pas fait

Bon crunch a tous!
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Dudumomo le 28 avril 2020 à 18:08
Salut,
Je viens de poster sur le forum du site
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=93#824

J'ai plein d'erreurs, et notamment sur des unites longues (certaines sont a plus de 3 jours de crunch). J'espere que ca aide quand meme.

J'ai l'impression que ca ne vient pas de moi cependant.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 29 avril 2020 à 09:38
Plusieurs problèmes.

J'ai peut-être oublié des possibilités, mais rien d'inquiétant je pense. On sait qu'on a beaucoup d'invalides et c'est pour ça qu'on crédite de façon généreuse.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Libristes] Dudumomo le 29 avril 2020 à 10:55
Okay damotbe, tres clair, merci.
Je laisse tourner
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 29 avril 2020 à 11:03
Merci @damotbe pour ces explications !  :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 01 mai 2020 à 18:47
Pour le point 2, je sais que les gens de Six Track ont beaucoup bossé sur le thème de la reproductibilité numérique cross platforme (Windows, Linux, CPU x86, SSE, SSE3, ... dans toutes les combos) pour être sur d'avoir des résultats identiques bit à bit quelle que soit ce sur quoi ça a été calculé.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 18 juillet 2020 à 13:34
Scientific publication and new WUs
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=105&postid=945 (https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=105&postid=945)
Citer
Dear crunchers.

First of all, thank you very much for your help and for your interest in our research.

We are proud to announce the imminent publication of our work on the generation of molecules with AI. You can already read the first draft here : https://www.researchsquare.com/article/rs-36676/v1. It's a raw version with almost no formatting. We have a more polished version that should come out in few weeks. The article will be in open access, the molecule generator in open source and the data in open data. Open Science!

Our exploration of chemical space continues and we have just generated more than 2.5 million small molecules. I know that some people are waiting eagerly for the return of the short WU and here they are! As before, many calculations will be considered invalid because of unstable molecules, but this is the price for unbiased cartography of the chemical space. The first results are very encouraging and we hope that these 2.5 million new molecules will help to provide extremely useful tools for many chemists.

Sincerly
Benoit
Citer
Chers croqueurs.

Tout d'abord, merci beaucoup pour votre aide et pour l'intérêt que vous portez à nos recherches.

Nous sommes fiers d'annoncer la publication imminente de nos travaux sur la génération de molécules avec l'IA. Vous pouvez déjà lire le premier projet ici : https://www.researchsquare.com/article/rs-36676/v1. C'est une version brute avec presque aucun formatage. Nous avons une version plus élaborée qui devrait sortir dans quelques semaines. L'article sera en accès libre, le générateur de molécules en open source et les données en open data. La science ouverte !

Notre exploration de l'espace chimique se poursuit et nous venons de générer plus de 2,5 millions de petites molécules. Je sais que certains attendent avec impatience le retour de la courte WU et les voilà ! Comme auparavant, de nombreux calculs seront considérés comme non valables en raison de l'instabilité des molécules, mais c'est le prix à payer pour une cartographie impartiale de l'espace chimique. Les premiers résultats sont très encourageants et nous espérons que ces 2,5 millions de nouvelles molécules contribueront à fournir des outils extrêmement utiles à de nombreux chimistes.

Cordialement
Benoit

Traduit avec www.DeepL.com/Translator (version gratuite)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 19 juillet 2020 à 20:26
:+1:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 26 juillet 2020 à 07:54
NWChem vs NWCHem Long
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=104&postid=944 (https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=104&postid=944)
Citer
Le NWChem est pour les petites molécules (9 atomes lourds). La plupart d'entre elles sont générées par une méthode d'IA et le but est d'explorer les limites de la chimie. les objectifs de la méthode d'IA sont une combinaison de diversité et de similitude avec des ensembles de données connus. elle implique la génération de molécules instables, donc un certain nombre de résultats non valides. Ces résultats non valides sont très utiles pour construire une autre méthode d'IA capable de générer des molécules stables plus grandes.

La méthode NWChem est longue pour les grosses molécules et plus orientée vers le criblage à haut débit (HTS). Actuellement, nous simulons des molécules pour des applications dans le domaine de l'énergie (photovoltaïque) et de la médecine (photothérapie). Les calculs sont très longs et la stabilité est également une préoccupation.

Traduit avec www.DeepL.com/Translator (version gratuite)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 26 juillet 2020 à 22:50
J'ai relancé des WU sur un windows. Au bout de 2min40, le client boinc signale qu'il a perdu le contact avec la VM. J'ai abandonné.
Je tente sous linux.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: RLDF le 27 juillet 2020 à 00:46
Petite précision, c'était un peu tiré par les cheveux, genre inception, avec une WU QuChemPedIA dans une virtualbox, sur un windows 10, sur un serveur XCP (Xen).
Avec une WU QuChemPedIA sur une VM linux dans une virtualbox dans un windows 10, ça fonctionne.
Avec une WU QuChemPedIA sur une VM linux dans un XCP (Xen), ça fonctionne bien aussi.
Heureusement que les WU sous linux ne nécessitent pas virtualbox parce qu'on ne peut pas l'installer dans une VM linux sur un XCP (Xen)  :pt1cable:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 27 juillet 2020 à 21:42
Bravo à damotbe pour tout ce travail et ces publications !!!  :jap: :jap: :jap:

Ça me motive à essayer de relancer ces UTs sur mes machines à la place du WCG, j'ai mis le Ryzen 1400 depuis aujourd'hui et je vais essayer de mettre les 24 threads du server Joe's sur les NWChem !

Longue vie à ce projet et à ses avancées dans la chimie !

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 29 juillet 2020 à 11:21
J'ai une tâche longue qui est active depuis 2 jours et 10h, je la tue ?

Je suis le 3ème calculateur et les 2 premiers ont mis 3 jours pour aboutir à une validation peu concluante: je laisse donc tourner.

 :jap:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 29 juillet 2020 à 14:16
On est bien d'accord que sous linux ça nécessite pas VirtualBox n'est-ce pas ?

Je bascule le Joe dessus, ça fait longtemps que j'ai pas QCPIAisé.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 29 juillet 2020 à 14:32
Oui application native sous Linux mais attention à la consommation de RAM, j'ai l'impression que chaque tâche réserve 1.2Go même si elle n'utilise pas tant -> à fouiller dans WUProp.

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 30 juillet 2020 à 00:30
Ca marche bien ! là il a une

1 long (t8)
+ 3 long (t4)
+ 4 normales (t1)
= 24t

J'ai envie de dire : pourquoi pas :)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF>Amis des Lapins] Jean-Luc le 02 août 2020 à 12:15
J'ai enfin réussi à calculer des WUs pour ce projet.
Cela semble très bien marcher sous Linux.
Par contre, chez-moi, ça ralentit fortement les calculs GPU !
Je vais terminer mes WUs téléchargées et ensuite, j'attendrai ma nouvelle machine beaucoup plus puissante en CPU pour reprendre ce projet beaucoup plus intensément.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 03 août 2020 à 08:32
Plop

Ça foire sur mon i7 2600K (http://www.cpu-world.com/CPUs/Core_i7/Intel-Core%20i7-2600K%20CM8062300833908.html)@W10 ; BOINC 7.16.6 sous BSF  :

360 QuChemPedIA@home 03/08/2020 00:25:35 Starting task BTXv2_athome_b3lyp-321gd_long,batch08,000002920,nwchem_long,1582659874_7
361 QuChemPedIA@home 03/08/2020 00:25:35 Starting task BTXv2_athome_b3lyp-321gd_long,batch06,000003675,nwchem_long,1587026414_3
362 QuChemPedIA@home 03/08/2020 00:25:35 Starting task BTXv2_athome_b3lyp-321gd_long,batch06,000004253,nwchem_long,1587026396_3
363 QuChemPedIA@home 03/08/2020 00:25:35 Starting task cl9_athome_b3lyp-321gd,batch010,000109311,nwchem,1594991980_0
364 03/08/2020 00:25:36 Vbox app stderr indicates CPU VM extensions disabled
365 QuChemPedIA@home 03/08/2020 00:25:36 Computation for task cl9_athome_b3lyp-321gd,batch010,000101078,nwchem,1594991978_1 finished
366 QuChemPedIA@home 03/08/2020 00:25:36 Output file cl9_athome_b3lyp-321gd,batch010,000101078,nwchem,1594991978_1_r980809347_0 for task cl9_athome_b3lyp-321gd,batch010,000101078,nwchem,1594991978_1 absent
367 QuChemPedIA@home 03/08/2020 00:25:36 Output file cl9_athome_b3lyp-321gd,batch010,000101078,nwchem,1594991978_1_r980809347_1 for task cl9_athome_b3lyp-321gd,batch010,000101078,nwchem,1594991978_1 absent
368 QuChemPedIA@home 03/08/2020 00:25:41 work fetch suspended by user
369 03/08/2020 00:25:44 Vbox app stderr indicates CPU VM extensions disabled
370 03/08/2020 00:25:44 Vbox app stderr indicates CPU VM extensions disabled
371 03/08/2020 00:25:44 Vbox app stderr indicates CPU VM extensions disabled
372 03/08/2020 00:25:44 Vbox app stderr indicates CPU VM extensions disabled

J'ai checké au niveau du BIOS, les options de Virtu sont bien activées. J4ai même réinstallé BOINC avec VB (+BSF), même résultat.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 03 août 2020 à 09:19
Il me semble que les extensions VM n'ont rien à voir avec le bios. C'est un truc à installer en plus/avec VB. Je le vois toujours à part dans la liste des mises à jour.
Si ça peut aider.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 03 août 2020 à 09:58
J'ai rajouté les extensions, mais ça foire toujours. On dirait qu'il attribue un chemin foireux au niveau de VBox :

Runtime error opening 'C:\BOINCDATA\slots\13\boinc_ff6575ffda7b1fe4\boinc_ff6575ffda7b1fe4.vbox' for reading: -103 (Path not found.).
F:\tinderbox\win-6.1\src\VBox\Main\src-server\MachineImpl.cpp[754] (long __cdecl Machine::i_registeredInit(void)).
Code d'erreur :
E_FAIL (0x80004005)
Composant :
MachineWrap
Interface :
IMachine {85632c68-b5bb-4316-a900-5eb28d3413df}

"F:\tinderbox" ? Je n'ai pas de lecteur F.
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: cougarpelardou le 03 août 2020 à 10:35
Tinder   Tiens tiens ...  :D Pour des rendez vous de recrutement pour l'AF je n'en doute pas  :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 03 août 2020 à 13:45
Les extensions VT-x sont activées (voir avec CPUZ ou dans le BIOS) ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 03 août 2020 à 15:19
J'avais envie de te répondre oui, mais comme je suis consciencieux j'ai ouvert CPU-Z et VT-x n'apparait pas :??:

Je vais aller fouiner dans le BIOS, j'espère que ce n'est pas une option à la con qui désactive ça <__<

(parce que oui, dans le BIOS j'ai bien "Option de virtualisation" à Enabled).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 03 août 2020 à 15:37
N'est-ce pas l'hyperthreading (HT) qui doit être activé dans le BIOS ?

Le CPU est-il compatible HT ?
Dans le détail de l'ordinateur concerné, sur le site QuChemPedIA,
en face de "virtualisation", y a-t-il affiché "Virtualbox (X.X.XX) installé, le processeur est compatible avec la virtualisation matérielle et est activé"
(comme celui-ci (https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=2008))  ?
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 03 août 2020 à 15:42
Bien vu pour le profil Qchempedia, mais du coup pourquoi j'ai ça :

https://quchempedia.univ-angers.fr/athome/show_host_detail.php?hostid=2752
Virtualbox (6.0.14) installé, le processeur est incompatible avec la virtualisation matérielle
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 03 août 2020 à 15:51
Parce que ton CPU est incompatible avec la virtualisation !  :/
Donc ça ne peut pas fonctionner avec ce CPU !

Quand le CPU est compatible et que l'HT n'est pas activé, ça le précise "le processeur est compatible mais la virtualisation n'est pas activée".
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 03 août 2020 à 16:18
Wut ? Hyperthreading != Virtualisation, ça n'a absolument rien à voir. (confer par exemple l'i5 2500K (http://www.cpu-world.com/CPUs/Core_i5/Intel-Core%20i5-2500K%20CM8062300833803.html) qui n'a pas d'HT mais qui a VT-X).

Btw Windows m'indique que la Virtu est activée, et je suis en train de réinstaller une VM sur Virtualbox pour faire un test empirique.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: franky82 le 03 août 2020 à 16:44
Wut ? Hyperthreading != Virtualisation, ça n'a absolument rien à voir.

Oui, autant pour moi !  :desole:
L'HT, c'est pour le nombre de threads (selon les CPU cores) alors que c'est bien le VT-x dans le BIOS, pour la virtualisation !
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 03 août 2020 à 16:45
boinc+vbox est ultra-capricieux avec certains utilisateurs (et j'en suis). Sous Windows 10, il me semble qu'il y a un hyperviseur par défaut qui fait foirer l'accélération matérielle de vbox... sur le forum du projet un utilisateur a fait un tuto (cf. https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=44 (https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=44))

Pour ma part, j'ai installé un VM LinuxMint et je tourne boinc dedans et ça marche nickel !  :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 03 août 2020 à 17:03
J'étais pas revenu sur le site de l'univ depuis la fin de mes études, ça ne m'avait pas manqué :o

Je vais décocher HyperV, mais c'est dommage, c'est nettement plus performant que Virtualbox dans mes souvenirs :/

Et puis hey, ho, je ne vais pas faire tourner une VM juste pour ton projet, t'as qu'à coder correctement :o :o :o


Edith : C'est pété quand même en décochant les HyperV :o
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Xe120 le 03 août 2020 à 20:16
T'as tenté la bidouille pour repasser la balise p_vm_extensions_disabled à 0 ?
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=20&postid=156#156 (https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=20&postid=156#156)

J'avais déjà eu ça avec LHC de mémoire.
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 03 août 2020 à 21:01
Et puis hey, ho, je ne vais pas faire tourner une VM juste pour ton projet, t'as qu'à coder correctement :o :o :o
C'est pas lui, c'est le stagiaire :siflotte:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 04 août 2020 à 00:07
T'as tenté la bidouille pour repasser la balise p_vm_extensions_disabled à 0 ?
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=20&postid=156#156 (https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=20&postid=156#156)

J'avais déjà eu ça avec LHC de mémoire.

Testé à l'instant : c'est toujours cassé :o

2456 04/08/2020 00:04:38 Vbox app stderr indicates CPU VM extensions disabled
Titre: Re : Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 août 2020 à 09:03
Et puis hey, ho, je ne vais pas faire tourner une VM juste pour ton projet, t'as qu'à coder correctement :o :o :o
C'est pas lui, c'est le stagiaire :siflotte:

Pour ce problème, ça ne dépend ni de moi ni du stagiaire mais du wrapper officiel...  :priz2tet:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 04 août 2020 à 14:29
Et après on se demande pourquoi je suis contre les VM ... :siflotte:

C'est quoi le CPU qui pose problème ? Il ne supporte peut être pas la virtualisation ...
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: fzs600 le 04 août 2020 à 15:08
Et après on se demande pourquoi je suis contre les VM ... :siflotte:

C'est quoi le CPU qui pose problème ? Il ne supporte peut être pas la virtualisation ...
C'est peut être pas les VM le problème.  :o
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 août 2020 à 15:23
Si je ne dis pas de bêtises, j'ai lu que les proc de la générations core i5 et i7 2X00k avait des "problèmes" de virtualisation. En gros, il y a les instructions VT-x mais pas VT-d sur les versions K. Dit autrement, ça marche avec un core i7 2600, mais pas un core i7 2600K... J'ai un core i5 3570K et c'est pareil toujours plein de problème avec les projets VM :(
Je pensais en achetant une version K avoir une version meilleure, mais c'est pas aussi simple que çà...

EDIT : j'ai oublié de préciser qu'il me semble qu'il faille VT-d pour les VM
EDIT 2 : et donc le meilleur moyen de faire tourner QuChemPedia@home dans ce cas est une VM installée soi-même (comme sur mon core i5-3750k)
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 04 août 2020 à 15:28
Han méway, y a le VT-d sur le 2600 vanille mais pas sur le K, cette arnaque :o
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 04 août 2020 à 15:31
Han méway, y a le VT-d sur le 2600 vanille mais pas sur le K, cette arnaque :o

Proco de gamer  :siflotte:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: [AF] fansyl le 04 août 2020 à 15:42
La blague Intel !!!! Je suis sur le c** !!  :blbl:

Mon 3770T possède bien les deux mais pas le 3770K... la méchante segmentation de gamme... -> go RYZEN !!!  :D

 :hello:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 04 août 2020 à 22:36
Par contre mon 4130T n'a apparemment pas VT-d (juste VT-x) mais il semble correctement cruncher les UT (sous Linux).
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: toTOW le 05 août 2020 à 11:44
C'est normal, il n'y a pas besoin de virtualisation sous Linux ... :siflotte:
Titre: Re : Re : [QuChemPedIA] le topic de préparation
Posté par: damotbe le 05 août 2020 à 12:14
C'est normal, il n'y a pas besoin de virtualisation sous Linux ... :siflotte:

 :plusun:
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: Oncle Bob le 05 août 2020 à 12:32
Ah :o

Feignasse de dev', faut faire une appli qui tourne nativement sous Windows :o
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: JeromeC le 05 août 2020 à 13:06
Il est parti le stagiaire ! plus de dev :D
Titre: Re : [QuChemPedIA] le topic de préparation
Posté par: modesti le 05 août 2020 à 14:21
Ah :o

Feignasse de dev', faut faire une appli qui tourne nativement sous Windows :o
Allez, tonton, au boulot (https://www.smilies.4-user.de/include/Brutal/smilie_b_005.gif) (https://www.smilies.4-user.de)
:D

:marcp: