Le Forum de l'Alliance Francophone

Nouvelles:

Auteur Sujet: [QuChemPedIA] le topic de préparation  (Lu 133254 fois)

0 Membres et 1 Invité sur ce sujet

En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #500 le: 02 November 2019 à 13:24
Bon screen il fallait l'installer, done, j'ai essayé de lire de la doc et j'ai bataillé un moment, mais j'ai jeté l'éponge... je peux pas faire du "multi écran" dans ma session... les "Ctrl-a" avec des commandes derrières ne font absolument rien.

En revanche j'ai maintenant deux "sessions screen" en mémoire qui bouffent plein de CPU (je vois bien des processus screen) et mettent boinc à genoux et que je n'arrive plus à "killer" et je trouve aucune commande pour les fermer !!! Quelle merde ce truc !! J'ai été obligé de rebooter ma VM, formidable.

Bon là il est repassé sous LHC Atlas donc j'ai lâché l'affaire pour le moment, je verrai ton autre proposition avec "affinity"... quand j'aurai le courage :) (en tous cas merci pour les conseils)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne fzs600

  • Méchant modo
  • Boinc'eur devant l'éternel
  • ******
  • Messages: 7781
  •   
Réponse #501 le: 02 November 2019 à 14:11
Bon screen il fallait l'installer, done, j'ai essayé de lire de la doc et j'ai bataillé un moment, mais j'ai jeté l'éponge... je peux pas faire du "multi écran" dans ma session... les "Ctrl-a" avec des commandes derrières ne font absolument rien.

En revanche j'ai maintenant deux "sessions screen" en mémoire qui bouffent plein de CPU (je vois bien des processus screen) et mettent boinc à genoux et que je n'arrive plus à "killer" et je trouve aucune commande pour les fermer !!! Quelle merde ce truc !! J'ai été obligé de rebooter ma VM, formidable.

Bon là il est repassé sous LHC Atlas donc j'ai lâché l'affaire pour le moment, je verrai ton autre proposition avec "affinity"... quand j'aurai le courage :) (en tous cas merci pour les conseils)
Tuer » un screen.
https://doc.ubuntu-fr.org/screen#tuer_un_screen


Utilisateur GNU-LINUX. fzs600@hub.g3l.org


Hors ligne damotbe

  • Boinc'eur Respectable
  • ****
  • Messages: 545
  •   

En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #503 le: 03 November 2019 à 14:23
Sinon y'a cette technique aussi :


(léger problème d'intolérance à la frustration)

@fzs : merci ta page est bien plus claire que celle que j'avais lu, j'en ENFIN compris comment utiliser ce bidule, c'est génial de truc !! (je comprends vite mais faut m'expliquer longtemps :lol:)

Maintenant je me suis fait des screen avec ce que j'utilise le plus souvent : htop, boinctui, mc... et je peux gaiement passer de l'un à l'autre !! en revanche je peux pas utiliser les "control+a n" ou "p" pour passer d'une fenêtre à l'autre, il me dit à chaque fois que y'en a pas d'autre, je dois retourner à la session principale (via "Control+a d") et relancer le screen voulu avec "screen -r xxx" (et je vois bien la liste de mes screen en cours avec "screen -ls") c'est dommage, j'ai raté un truc ?

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne fzs600

  • Méchant modo
  • Boinc'eur devant l'éternel
  • ******
  • Messages: 7781
  •   
Réponse #504 le: 03 November 2019 à 15:34
c'est dommage, j'ai raté un truc ?
Je ne sais pas pour le moment je n’utilise pas screen.
Mais essaye  Les pages du manuel man screen il y a peut-etre la solution.  :kookoo:


Utilisateur GNU-LINUX. fzs600@hub.g3l.org


Hors ligne damotbe

  • Boinc'eur Respectable
  • ****
  • Messages: 545
  •   
Réponse #505 le: 03 November 2019 à 15:44
sinon tu peux essayer tmux C'est encore plus puissant : https://doc.ubuntu-fr.org/tmux



En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #506 le: 03 November 2019 à 16:04
Oula j'avais ouvert le man screen, des pages et des pages et des pages !!! l'enfer !! :D

Alors ne parlons même pas d'un truc "encore plus puissant" :lol:

Je vais déjà m’acclimater à screen, ce sera pas mal ;)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne DocPhilou1966

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1869
  •   
    • Mon Job
    • E-mail
Réponse #507 le: 03 November 2019 à 18:18
Est-ce qu'il peut être utile de limiter à 1 UT / machine ?
Un peu comme nanohub@home qui ne tourne que si on limite à 1 UT.
Vais essayer sur le pc sur lequel ça plante tout le temps, et HT Off.
 :hello: :kookoo:

 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search


Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #508 le: 03 November 2019 à 18:44
Sous Linux, j'ai 5 (t1) qui tournent en // sans problème. Je verrai ce que ça donne quand il attaquera les (t2) ...


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #509 le: 03 November 2019 à 22:05
Wesh Benoit, bon j'avais pas vu que t'avais mis ce script pour l'affinité sur un des sujet du forum et je l'ai remis sur un autre.

Mieux vaut plus que pas assez.

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #510 le: 04 November 2019 à 15:28
Chtite info. J'ai "hérité" de cette tâche/UT. Mon prédécesseur est ptet encore en train de la calculer. Contrairement aux autres avec des durées raisonnables, celle-ci est donnée pour 35 jours de calcul.
Vu la progression actuelle (0.9% pour 7h38), c'est bien le temps qu'elle devrait mettre.

@damotbe: Ce serait cool si tu pouvais implémenter un report de deadline comme chez RNA - à condition que les tâches envoient des infos intermédiaires au serveur, sinon ça me paraît compromis.
P.ex. je calcule actuellement sur une RNA depuis 97j11h28'. La deadline initiale était au 17 août, sur le serveur du projet elle a été étendue de 3 semaines en 3 semaines (il me semble) et est actuellement au 23 novembre...

Edit: J'ai rien dit :D Elle est déjà terminée et validée :lol:
« Modifié: 04 November 2019 à 16:35 par modesti »


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #511 le: 04 November 2019 à 17:27
Je crois bien que QCPIA envoie déjà des "trickle messages" il me semble les avoir vu passer parmi les messages boinc, en revanche je sais pas à quoi il les utilise pour le moment.

T'arrive à avoir du RNA toi ?? trop forte !! ça doit faire littéralement des années que j'en ai pas eu, et pourtant le projet est régulièrement vanne ouverte sur mon Mac, mais ptet qu'ils en génèrent plus pour Mac...

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #512 le: 04 November 2019 à 18:30
[HS]La RNA c'était un coup de bol. C'est la première depuis janvier 2018 et la précédente datait de 2013. Vu que c'est de la VM tu devrais pouvoir en choper pour Mac aussi. Mais faut une priorité haute et une demande forcée régulière - ou un coup de bol, comme moi sur ma nouvelle installation Linux :D [/HS]


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #513 le: 04 November 2019 à 23:59
https://quchempedia.univ-angers.fr/athome/forum_thread.php?id=31#248

(boboviz)
Citer
Le premier mois du projet est terminé. Des résultats préliminaires ? Le code est-il correct ? Avez-vous besoin de plus de puissance de calcul ?

(damotbe)
Citer
Nous avons écrit un article (La diversité chimique de l'ensemble de données limite la généralisation des prédictions d'apprentissage machine) qui a été accepté et sera publié (en libre accès) bientôt. Pour le moment, nous (les crunchers et nous) calculons un meilleur ensemble de données pour former l'IA et nous travaillons sur plusieurs IA (un article est en attente de révision). Nous travaillons également sur une base de données ouverte et des outils pour les contrôles qualité et l'enrichissement des informations chimiques.

Puissance de calcul ? Jamais assez ! ;-p

(Thomas)
Citer
Bonjour,
je suis le chimiste de ce projet. La publication mentionnée par Damotbe a été écrite lors du lancement du projet boinc. Mais je peux extraire quelques phrases de cet article pour montrer ce que nous avons à l'esprit :

" Résumé : L'ensemble de données QM9 est devenu la norme d'or pour les prédictions d'apprentissage machine (ML) de diverses propriétés chimiques. QM9 est basé sur le GDB, qui est une exploration combinatoire de l'espace chimique. Les prédictions moléculaires ML ont récemment été publiées avec une précision comparable à celle des calculs de la théorie fonctionnelle de la densité. De tels modèles de ML doivent être testés et généralisés sur des données réelles. PC9, un nouvel ensemble de données QM9 équivalent (seulement H, C, N, O et F et jusqu'à 9 atomes "lourds") du projet PubChemQC est présenté dans cet article. Une étude statistique des distances de liaison et des fonctions chimiques montre que ce nouvel ensemble de données englobe une plus grande diversité chimique. La régression de la crête du noyau, Elastic Net et le modèle de réseau neuronal fourni par SchNet ont été utilisés sur les deux ensembles de données. La précision globale de la prévision d'énergie est plus élevée pour le sous-ensemble QM9. Cependant, un modèle formé sur PC9 montre une plus grande capacité à prédire les énergies des autres ensembles de données :

" L'ensemble de données QM9 a environ 130 000 petites molécules, alors que notre PC9 a 119 000 (mais a été extrait d'un autre type de calculs). Le problème est que les résultats complets de la QM9 ne sont pas accessibles au public. Ils ont extrait certains résultats des calculs coûteux de la mécanique quantique et ont détruit le journal. Nous ne sommes pas satisfaits du PC9 qui est une simple démonstration qu'il faut plus de diversité, mais pour le moment le projet boinc vise à recalculer les molécules intéressantes de QM9 et PC9 avec le même niveau de calcul cette fois.

Tous les résultats seront disponibles sur la base documentaire quchempedia https:/quchempedia.univ-angers.fr lorsque cette plateforme sera un peu plus robuste (début 2020), à l'image de notre outil de contrôle qualité tel qu'écrit par mon collègue, nous ne sommes pas encore totalement satisfaits de NWChem. Avec le même projet boinc, Damotbe et moi-même, utilisons le gaussien (propriétaire) qui est très efficace. Mais Nwchem est open source...
Nous avons calculé environ 130 k sur 200 k grâce à votre aide !
Pour décembre nous espérons proposer à la communauté de calculer de nouvelles molécules qui n'existent peut-être même pas et ne sont pas stables afin d'aider l'outil d'apprentissage machine à mieux généraliser. Ces nouvelles molécules seront générées par une procédure d'apprentissage automatique. C'est trop long à expliquer ici.

Si vous avez des questions....
Chaleureusement, Thomas

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne damotbe

  • Boinc'eur Respectable
  • ****
  • Messages: 545
  •   
Réponse #514 le: 05 November 2019 à 10:12
Je crois bien que QCPIA envoie déjà des "trickle messages" il me semble les avoir vu passer parmi les messages boinc, en revanche je sais pas à quoi il les utilise pour le moment.

T'arrive à avoir du RNA toi ?? trop forte !! ça doit faire littéralement des années que j'en ai pas eu, et pourtant le projet est régulièrement vanne ouverte sur mon Mac, mais ptet qu'ils en génèrent plus pour Mac...

Ils servent à rien  :lol:



En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #515 le: 09 November 2019 à 10:17
J'ai la désagréable impression que QCPIA que j'ai limité à 2 tâches à la fois, pour avoir des chances que ça fonctionne sur le Mac (et ça fonctionne...) empêche mon boinc de demander des tâches d'autres projets sur les cores inoccupés : là par exemple j'ai WCG en parallèle, ben soit il fait 8 tâches WCG soit il fait 2 QCPIA...

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne DocPhilou1966

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1869
  •   
    • Mon Job
    • E-mail
Réponse #516 le: 09 November 2019 à 12:58
J'avoue humblement avoir abandonné ...
Même en libérant BOINC et en limitant à 1 UT / crunchbox pour ce projet, je le retrouvais régulièrement en "attente de mémoire" ou "unmanageable ....." donc à l'arrêt.
 :desole: :jap: :hello:


 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search


Hors ligne damotbe

  • Boinc'eur Respectable
  • ****
  • Messages: 545
  •   
Réponse #517 le: 09 November 2019 à 13:17
ça fonctionne vraiment bien pour pas mal de gens, mais c'est vrai que pour certaines configurations ce n'est pas gérable. On commence à avoir assez de recul pour les aspects mémoire. Il faut qu'on regarde ça pour relâcher la pression sur les ressources.




En ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #518 le: 09 November 2019 à 13:17
Je précise ce que je voulais dire : si j'ouvre les vannes d'un autre projet en parallèle, du moment que y'a des tâches QCPIA qui tournent (et ça chez moi, ça fonctionne) et ben les autres projets disent

"Sam  9 nov 13:14:31 2019 | wanless2 | Not requesting tasks: don't need (CPU: not highest priority project; AMD/ATI GPU: job cache full)"

parce qu'en fait il y a d'autres tâches QCPIA en attente de calcul, et donc il estime qu'il a besoin de rien alors qu'il a 6 cores qui se tournent les pouces !

Comment on peut résoudre cela ? J'ai bien souvent eu divers projets en parallèle et boinc arrivait bien à répartir la charge et utiliser tous les cores de CPU présents, même avec des réserve de travail sur tous les projets en cours...

On dirait qu'il y a quelque chose dans le paramétrage de QCPIA qui "étouffe" cela...

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne TheStressMan

  • Boinc'eur Respectable
  • ****
  • Messages: 673
  •   
    • E-mail
Réponse #519 le: 09 November 2019 à 15:30
Bonjour,

J'ai un I7 qui tourne avec 6 tâches QuChemPedIA, 6 tâches PrimeGrid et 1 GPU Collatz (et 1 WUProp).

 :kookoo:



Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #520 le: 09 November 2019 à 19:44
Chez moi, pour 6 coeurs dispos pour Boinc, je m'étais retrouvée avec 3 QuChem t2 et 1 RNA + les projets NCI. Ça va bien que la VM n'a droit qu'à 4 coeurs et qu'il m'en reste encore 2 autres. Il n'y avait pas eu de lag non plus.


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


Hors ligne franky82

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1969
  •   
    • Photo de bière
Réponse #521 le: 09 November 2019 à 20:13
Une UT qui m'indique une durée estimée bien supérieure aux précédentes (30 jours au lieu de 7h) !  :eek:
(ça va être juste pour la deadline)
Celle qui est en cours de crunch en est à 1 jour 9h à 98.8 %
« Modifié: 09 November 2019 à 20:16 par franky82 »

Mon site : Photo de bière
 



Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #522 le: 09 November 2019 à 21:04
Regarde un de mes posts un peu plus haut: j'en avais une donnée pour 35 jours et finalement elle n'a mis que 6 ou 9  heures ;)


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


Hors ligne franky82

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1969
  •   
    • Photo de bière
Réponse #523 le: 09 November 2019 à 21:11
Oui, je me doute bien qu'elle ne va pas durer 30 jours !  :D

Mon site : Photo de bière
 



Hors ligne DocPhilou1966

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1869
  •   
    • Mon Job
    • E-mail
Réponse #524 le: 10 November 2019 à 10:15
ça fonctionne vraiment bien pour pas mal de gens, mais c'est vrai que pour certaines configurations ce n'est pas gérable. On commence à avoir assez de recul pour les aspects mémoire. Il faut qu'on regarde ça pour relâcher la pression sur les ressources.

 :hello:
Vais relancer sur 1 machine. Tu conseillerais de limiter 1 UT / machine ou de laisser BOINC gérer ?
Ordi ID: 559 - Intel(R) Xeon(R) CPU E3-1241 v3 @ 3.50GHz - W10 PRO - 24 Go RAM - dernière version de Oracle VM
Merci  :jap:

 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search