Auteur Sujet: [QuChemPedIA] le topic de préparation  (Lu 73950 fois)

0 Membres et 1 Invité sur ce sujet

JeromeC

  • CàA
  • Messages: 26809
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #925 le: 20 juin 2021 à 19:39 »
Très curieux, sans rien toucher à ma VM linux qui fait du QCPIA depuis quelques temps (10 threads alloués), alors même que j'avais un RAC riquiqui depuis le début (lire plus haut), soudain il se met à créditer beaucoup plus :



Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 490
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #926 le: 20 juin 2021 à 19:42 »
Je viens d'avoir le droit de relancer la ferme de calcul. Du coup, j'ai validé pas mal de calcul qui étaient en attente  :siflotte:

JeromeC

  • CàA
  • Messages: 26809
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #927 le: 20 juin 2021 à 19:51 »
Ahhhhhhh :D
Parce que c'était lui, parce que c'était moi.

DocPhilou1966

  • Messages: 1611
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Mon Job
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #928 le: 21 juin 2021 à 06:53 »
Vu le nombre et la taille des fichiers à traiter, on n'a pas mis en place de procédure manuelle.
On parle de centaines de millier de molécules et c'est ingérable manuellement  :/

Par contre, on a regardé quelques cas et il s'agit de cas pas assez instables pour casser dès le départ mais le résultat final est trop aléatoire. Du coup on est arrivé à : quand on ne trouve pas 2 fois le même résultat parmi 8 calculs (je trouve que c'est déjà beaucoup), on conclue qu'il s'agit d'une molécule instable. Évidemment, on commence par deux calculs, puis un 3ème s'ils ne sont pas d'accord, puis un 4ème ...
L'autre cas possible que j'ai identifié, c'est la combinaison de trop d'hôtes qui partent en erreur ou qui annule les tâches. Il se peut qu'un seul calcul est abouti, mais il ne peut pas être vérifié, il est donc éliminé à notre grand regret... C'est le comportement par défaut du serveur et je n'ai pas trouvé de moyen satisfaisant de géré ça. Il faudrait un stagiaire pour rendre ça plus robuste et propre...

Hello !  :hello:

Merci beaucoup pour tes explications  :jap:

Perso, j'ai du annuler plusieurs fois des UT's car mes machines en recevaient trop ... (je loue du temps de calcul à l'heure ...  :hyperbon:)
Du coup j'ai mis priorité '0' pour en recevoir moins.

Pour les UT's 'invalides', et il y en a pas mal si on fait le total du temps de calcul 'perdu' (pas un reproche, je n'y comprends rien)
mais qui ne correspondent pas tout à fait à la description ci-dessus.

Par exemple : https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=2566198
Pourquoi envoyer une UT 7x si les 6 premiers résultats sont "mauvais" ?

J'en ai environ 75 sur la machine 2558367, et plusieurs centaines sur mes autres machines.

Est-il possible de ne plus envoyer une UT si les 2 ou 3 premiers calculs sont 'mauvais' ?
("Trop de résultats (peut être non déterministe) Trop de résultats totaux")

Cette UT https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=2558367 est invalide car "Trop de résultats totaux"  :??:

Concernant les 'validation non concluantes', j'en ai regardé 1 ou 2, et idem. Elles sont parfois calculées 4x avec le résultat 'validation non concluante' mais tout de même renvoyée à quelqu'un pour un 5° calcul .... ? https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=2517604 https://quchempedia.univ-angers.fr/athome/workunit.php?wuid=2566815

Est-ce qu'un maximum de 4 calculs aboutis ne suffirait pas ?

Merci beaucoup !  :jap:

 :hello:  :kookoo:
« Modifié: 21 juin 2021 à 07:31 par DocPhilou1966 »
 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search

damotbe

  • Messages: 490
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #929 le: 21 juin 2021 à 08:38 »
 :hello:

Je me suis posé beaucoup de questions pour notre projet... le logiciel serveur est livré avec 3 réglages de maximum : erreurs/total/succès
Au début, je me suis dit "Super! on va pouvoir bien régler le bouzin... ", sauf que ces 3 catégories ne sont pas très bien documentées et ne sont pas si claires. Par exemple, j'ai pu observé que les erreurs comprenaient les annulations des utilisateurs :priz2tet: Donc avec les problèmes des VM, les annulations et les erreurs classique inévitables, j'ai mis 8 et je peux déjà dire que ce n'est pas toujours suffisant... Nous perdons parfois des molécules qui ne seront jamais calculées  :priz2tet:

Pour le nombre de calcul succès, j'ai choisi 6 pour trouver un compromis pour "essayer de sauver le plus de calculs possibles". Dès que deux machines trouvent le même calcul (avec une très très grande tolérance), je valide ! Thomas, le chimiste a été très surpris de voir deux calculs ne pas donner le même résultat. 6 résultats tous différents, ça nous laisse sans voix... Ce projet, unique au monde, nous fait découvrir pleins de choses, même les erreurs de calcul. Dommage que ça ne rapporte pas de crédit pour vous remercier...

En tout cas, merci pour l'aide.
« Modifié: 21 juin 2021 à 08:58 par damotbe »

DocPhilou1966

  • Messages: 1611
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Mon Job
Re : [QuChemPedIA] le topic de préparation
« Réponse #930 le: 21 juin 2021 à 13:47 »
Merci pour ta réponse et merci pour le projet :)  :plusun:
Je veux, dans un premier temps, mon badge des 2M  :siflotte:
 
13800346^131072+1   935,840 (decimal)   2019-01-27 Generalized Fermat Prime Search

JeromeC

  • CàA
  • Messages: 26809
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #931 le: 03 juillet 2021 à 11:24 »
C'est quand même curieux je suis retombé à une prod minimaliste avec mes 10 threads linux qui continuent de faire le même taff... ça ne cesse de décliner jour après jour, hier j'avais 3600 crédits, j'avais dû monter à 15000 ou je sais plus combien...
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 490
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #932 le: 04 juillet 2021 à 13:22 »
oui, pareil ici. Je pense qu'on est sur une mauvaise fournée : une partie de l'univers chimique particulièrement instable  :??:

JeromeC

  • CàA
  • Messages: 26809
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #933 le: 04 juillet 2021 à 14:09 »
Si on dépend de l'univers chimique maintenant, on est fichus :D
Parce que c'était lui, parce que c'était moi.

modesti

  • CàA
  • Messages: 17732
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [QuChemPedIA] le topic de préparation
« Réponse #934 le: 11 juillet 2021 à 19:46 »
:hello: damotbe,

Je m'interroge sur les deux tâches qui sont en cours chez moi... Soit c'est des molécules hyper-stables, soit elles sont plantées depuis longtemps à cause des mises en veille de l'ordi. Cf. capture jointe pour les références.

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

damotbe

  • Messages: 490
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #935 le: 11 juillet 2021 à 20:26 »
:hello: damotbe,

Je m'interroge sur les deux tâches qui sont en cours chez moi... Soit c'est des molécules hyper-stables, soit elles sont plantées depuis longtemps à cause des mises en veille de l'ordi. Cf. capture jointe pour les références.

 :jap:

c'est peut-être un plantage ou une molécule qui ne veut pas converger. Je pense que tu peux annuler sans conséquence pour nous.

modesti

  • CàA
  • Messages: 17732
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [QuChemPedIA] le topic de préparation
« Réponse #936 le: 11 juillet 2021 à 23:29 »
Merci pour ton retour, damotbe :jap: Au moins elles auront fait progresser le compteur WUprop ;)

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

damotbe

  • Messages: 490
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #937 le: 12 juillet 2021 à 08:53 »
Merci pour ton retour, damotbe :jap: Au moins elles auront fait progresser le compteur WUprop ;)

Puis pour nous elle sera classée dans les molécules problématiques.