Auteur Sujet: [QuChemPedIA] le topic de préparation  (Lu 55065 fois)

0 Membres et 1 Invité sur ce sujet

[AF] fansyl

  • Messages: 2138
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #600 le: 13 janvier 2020 à 11:12 »
Le site semble down de mon côté  :/
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/16Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912


[AF] fansyl

  • Messages: 2138
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #601 le: 13 janvier 2020 à 21:32 »
Le site est revenu mais j'ai beaucoup d'UTs invalides, je ne sais pas si c'est normal damotbe ?

 :hello:
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/16Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912


[AF] Xenon

  • Messages: 68
  • Boinc'eur Junior
  • **
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #602 le: 30 janvier 2020 à 20:50 »
Vu sur le forum du site QuChemPedIA, 

Publié par: 30 Jan 2020, 9:03:31 UTC

Dear Crunchers,

Yesterday, I had to suspend an account for two weeks and remove credits, for obvious credit cheating. I'm quite annoyed that instead of doing science, I have to deal with this kind of behavior. We're small and we're short on time and it doesn't help scientific research...

The current credit system is too easy to fool, so I'm going to move to something simpler, robust and more generous on average: fixed credits. For short tasks (such as od9), I'm going to award 200 credits. This change requires draining the task queue. At that time, I will submit new tasks. These new tasks will be the opportunity to deploy the new code with checkpoints, system signals and affinity management for large systems (>32 cores). Some errors are to be expected, I can't test everything.

The last point concerns the requests for Gridcoin. I've been asked by the developers and by some of you. I am not against this possibility, but three points do not allow for the moment to be whitelisted. First, I can't guarantee to always have tasks waiting to be calculated. Secondly, the incentive to cheat will increase and I find that increasing the quorum is a waste of resources. Thirdly, I'm struggling with the server to keep it up. The upcoming arrival of larger molecules should settle the first point. For the second point, we are thinking about a validation by analyzing the result. I have already made many optimizations for the third point, at the moment it's much better.

Kindly
Benoit Da Mota

Et sa traduction fraçaise pour les anglophobes :

Publié par: 30 janv.2020, 9:03:31 UTC

Chers Crunchers,

Hier, j'ai dû suspendre un compte pendant deux semaines et retirer des crédits, pour fraude de crédit évidente. Je suis assez ennuyé qu'au lieu de faire de la science, je doive faire face à ce genre de comportement. Nous sommes petits et nous manquons de temps et cela n'aide pas la recherche scientifique ...

Le système de crédit actuel est trop facile à tromper, je vais donc passer à quelque chose de plus simple, robuste et plus généreux en moyenne: les crédits fixes. Pour les tâches courtes (comme od9), je vais attribuer 200 crédits. Cette modification nécessite de vider la file d'attente des tâches. À ce moment, je soumettrai de nouvelles tâches. Ces nouvelles tâches seront l'occasion de déployer le nouveau code avec des points de contrôle, des signaux système et une gestion des affinités pour les grands systèmes (> 32 cœurs). Des erreurs sont à prévoir, je ne peux pas tout tester.

Le dernier point concerne les demandes de Gridcoin. J'ai été demandé par les développeurs et par certains d'entre vous. Je ne suis pas contre cette possibilité, mais trois points ne permettent pas pour l'instant d'être mis sur liste blanche. Premièrement, je ne peux pas garantir d'avoir toujours des tâches en attente de calcul. Deuxièmement, l'incitation à tricher augmentera et je trouve que l'augmentation du quorum est un gaspillage de ressources. Troisièmement, je me bats avec le serveur pour le maintenir. L'arrivée prochaine de molécules plus grosses devrait régler le premier point. Pour le deuxième point, nous pensons à une validation en analysant le résultat. J'ai déjà fait de nombreuses optimisations pour le troisième point, pour le moment c'est beaucoup mieux.

Amicalement
Benoit Da Mota

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #603 le: 30 janvier 2020 à 21:08 »
Rho ben alors Benoit pourquoi tu viens pas nous en parler ici ??

Moi je suis tout à fait pour le fait que tu affectes des crédits comme c'est le mieux pour toi et ton projet (sachant qu'il y aura toujours des connards tant que le monde sera monde) et pour que tu n'ouvres pas la porte à GC !!! :D

Bon courage et comme toujours n'hésites pas à nous solliciter pour tout test nécessaire !!

Cheers ! Haut les coeurs !


PS : merci Xenon pour l'info et la trad
Parce que c'était lui, parce que c'était moi.

franky82

  • DROITS - Journalistes
  • Messages: 1269
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : [QuChemPedIA] le topic de préparation
« Réponse #604 le: 30 janvier 2020 à 21:32 »
Benoit... = @damotbe
Mon site : Photo de bière
 

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #605 le: 31 janvier 2020 à 00:29 »
Ben oui, sa signature explique son pseudo :D

(c'est la faute à Xenon ! c'est la faute à Xenon ! :lol:)
Parce que c'était lui, parce que c'était moi.

[AF] Xenon

  • Messages: 68
  • Boinc'eur Junior
  • **
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #606 le: 31 janvier 2020 à 01:45 »
Nemo auditur propriam suam turpitudinem allegans

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #607 le: 31 janvier 2020 à 18:09 »
Moi mon extraordinaire souvenir c'est Xenon 2 sur Amstrad PC 8086



Comment qu'il était trop bon ce jeu !!
Parce que c'était lui, parce que c'était moi.

[AF] Xenon

  • Messages: 68
  • Boinc'eur Junior
  • **
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #608 le: 31 janvier 2020 à 21:34 »
Bravo Zark, mon pseudo fait effectivement référence à ce flipper. C'est le premier sur lequel j'ai vraiment appris à jouer. Pour l’époque, c’est-à-dire il y presque 40 ans, il était plutôt high tech comme on dit aujourd’hui. Nostalgie…

damotbe

  • Messages: 433
  • Boinc'eur Confirmé
  • ***
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #609 le: 01 février 2020 à 18:10 »
Coucou  :hello:

Le forum du projet et l'administration du serveur me prends beaucoup de temps... Et avant ça, il y a les enseignements et la recherche.

J'ai eu un gros problème de crédits avec un utilisateur qui avait beaucoup de VM très très lentes pour stocker des WUs (J'ai été un peu rude avec lui...).
Je vais changer vers des crédits fixes pour éviter ce genre d'effet. En plus, je pourrais ajuster les points, alors que je n'avais aucune maîtrise avec l'autre système. L'idée c'est aussi d'être plus généreux en moyenne. J'ai aussi implémenté un validateur, plutôt que de vérifier plus tard (je donnais des points et avant d'utiliser les résultats je nettoyais). C'est pas parfait, mais ça fait bien l'affaire. J'ai des nouveaux jobs prêts depuis quelques jours déjà, mais je vais attendre le vidage des tâches en cours pour tester et changer le système de crédit.

De nombreux utilisateurs Gridcoin demandent que le projet soit "whitelisté", ce qui est compréhensible mais qui m'inquiète un peu. C'est aussi pour ça que je dois prendre certaines dispositions.

Amicalement.
Benoit

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #610 le: 02 février 2020 à 12:58 »
 :kookoo: :+1:
Parce que c'était lui, parce que c'était moi.

[AF] fansyl

  • Messages: 2138
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #611 le: 02 février 2020 à 15:40 »
Je me permets de donner mon avis sur GridCoin, il me parait excessivement dangereux d'être "whitelisté". Cela risque de créer un afflux énorme de personnes qui vont avoir de grosses attentes, voir des exigences.

Le projet ne me semble pas avoir les ressources pour encaisser cela. Je trouve qu'il faut bien estimer le ratio gain de puissance/temps consacré avant de se lancer, comme tu dis, l'administration du forum et du serveur prennent des temps énormes, sont parfois répétitifs, pour un gain pas toujours évident.

Bon courage et bonne continuation.

Je garde les vannes ouvertes sur deux machines Ryzen sous Ubuntu mais j'ai constaté que tu as déjà de la puissance à disposition en interne ;)

 :hello:
Je crunche dans le silence et c'est ma joie !
Ryzen 1700X/32Go/GTX970 (sous WC) - i7-3770T/16Go/HD4000 - Ryzen 1400/16Go/GTX1050 - Q9550/8Go/GT1030 - 3xAndroidBox S912


Azlem

  • Messages: 54
  • Boinc'eur Junior
  • **
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #612 le: 09 février 2020 à 13:12 »
Bonjour, je me suis inscrit sur ce projet il y a peu, mais après quelques WU réussies (enfin je suppose puisque j'ai eu des points) toutes mes autres WU se terminent ainsi.

09/02/2020 12:10:21 | QuChemPedIA@home | Task od9_athome_b3lyp-321gd,batch56,000564247,nwchem,1580803032_0 postponed for 86400 seconds: VM job unmanageable, restarting later.

Bien entendu, le travail ne reprends jamais, et même si je redémarre BOINC, le travail reprends effectivement, mais s'arrête à nouveau après quelques heures de la même manière.

J'ai coupé la demande de nouveau travail et j'essaye les tâches une par une comme j'ai pu le lire ça et là, mais rien n'y fait. Peut-être mon matériel n'est il pas de taille pour ce projet  :D

Quelqu'un à déjà vécu cette situation ? Est-il possible pour moi d'arranger les choses ou devrais-je annuler mon stock de tâches ?

Merci et bonne journée à tous !

erik

  • Messages: 2203
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #613 le: 09 février 2020 à 13:33 »
 :hello:
Le projet est en phase beta.
Plus précisemment il y a des problèmes de VM sous Windows et ils y travaillent...
Celà ne vient pas de toi.

La tâche en question:
https://quchempedia.univ-angers.fr/athome/result.php?resultid=1096851

Il peut être interressant de suivre le forum du projet pour se renseigner sur l'avancement des choses.
   

Azlem

  • Messages: 54
  • Boinc'eur Junior
  • **
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #614 le: 09 février 2020 à 14:08 »
J'avais dû mal comprendre alors, je pensais que la beta concernait les unitées NWChem long uniquement et que celles que j'ai étaient déjà "rôdées" en quelque sorte. Du coup pour celles qu'il me reste, dois-je persister à essayer de les calculer ou devrais-je les annuler pour ne pas les bloquer ? (désolé mais je ne m'y connait pas trop en terme de fonctionnement du calcul distribué et je ne voudrait pas faire de la rétention de tâches que je ne pourrais traiter correctement)

erik

  • Messages: 2203
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #615 le: 09 février 2020 à 14:24 »
C'est à toi de voir.
Tu en a certaines qui se sont terminées...
Tu peux savoir si le CPU calcule vraiment dans les propriétés de la tâche dans BOINC Manager.

Je ne pense pas que celà gène le projet si tu gardes les tâches au contraire celà permet de les tester.
   

fzs600

  • Méchant modo
  • Messages: 6510
  • Boinc'eur devant l'éternel
  • ******
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #616 le: 09 février 2020 à 18:44 »
Bon j'ai recommencé a  cruncher sur le projet.  :hyperbon:
L'utilisation processeur est a 100% et ça c'est bien.  :jap:
Citer
8 Feb 2020, 13:05:02 UTC    9 Feb 2020, 15:15:21 UTC    Terminé et validé    1,180.73    1,136.70    200.00    NWChem v0.17 (t1)
x86_64-pc-linux-gnu

Je vais rester un bon moment.  :kookoo:
 

Utilisateur GNU-LINUX. fzs600@hub.g3l.org

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #617 le: 09 février 2020 à 19:45 »
C'est un problème classique des projets à VM quand il sont pas encore stable, le développement / réglage n'est pas facile de ce point de vue là, si tu lis les 12 précédentes pages de ce topic je suis sûr qu'on en parle :siflotte:

(et on a même dû citer des threads d'autres projets qui parlaient de cette problématique)

Sur linux le stagiaire avait eu le temps de développer une appli sans VB, et elle est plus stable.

Mais c'est parce que l'appli a d'abord été faite sous VB qu'elle a pu être proposée tout de suite sur les 3 OS de base en peu de temps (ce qui ne se serait pas produit avec une appli native par OS), et puis le stagiaire est parti, et il n'a pas été remplacé...

On se rend pas assez compte de l'importance d'un bon stagiaire :gnu:
Parce que c'était lui, parce que c'était moi.

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #618 le: 10 février 2020 à 23:47 »
Bon ben j'ai récupéré une flopée de tâches sur la VM minux, toutes des "NWChem v0.17 (t1) x86_64-pc-linux-gnu", et ben ça chie : 2 qui sont à 100% depuis plus d'un jour et prennent 0 de CPU chacune, j'avais constaté ça hier et je m'étais dis "laissons leur une chance" et donc en fait plus d'un jour à 0% CPU x 2 = 0 = caca...

stderr.txt vide dans le slot + dernière mise à jour de fichier dans le slot hier à 20h....

J'ai donc tué ces deux là en voyant ce qui va se passer avec les autres.

... après quelques minutes elles prennent toujours 0% de CPU, le % d'avancement des tâche progresse rapidement (j'en suis à plus de 10% chacune le temps d'écrire ces lignes) et toujours 0 CPU, même comportement des fichiers dans le slot (rien dans le stderr.txt)..........
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 433
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #619 le: 11 février 2020 à 11:17 »
Bon ben j'ai récupéré une flopée de tâches sur la VM minux, toutes des "NWChem v0.17 (t1) x86_64-pc-linux-gnu", et ben ça chie : 2 qui sont à 100% depuis plus d'un jour et prennent 0 de CPU chacune, j'avais constaté ça hier et je m'étais dis "laissons leur une chance" et donc en fait plus d'un jour à 0% CPU x 2 = 0 = caca...

stderr.txt vide dans le slot + dernière mise à jour de fichier dans le slot hier à 20h....

J'ai donc tué ces deux là en voyant ce qui va se passer avec les autres.

... après quelques minutes elles prennent toujours 0% de CPU, le % d'avancement des tâche progresse rapidement (j'en suis à plus de 10% chacune le temps d'écrire ces lignes) et toujours 0 CPU, même comportement des fichiers dans le slot (rien dans le stderr.txt)..........

La 0.17 et 0.18 marche très très fort pourtant... (99,1% de succès sur 24h pour environ 9000 jobs)
Tu as installé quoi comme distribution Linux ? (perso, j'ai la LinuxMint 19.3 sur VirtualBox qui fonctionne très bien)

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #620 le: 11 février 2020 à 14:24 »
Ben c'est la même distrib débian depuis le début avec laquelle j'ai déjà fait pas mal de QCPIA... !?

A part faire des update/upgrade sur les paquets, je n'ai rien changé depuis que j'ai cette VM nunux.

La mort dans l'âme j'ai annulé toutes les tâches en attente avant de partir ce matin, ça faisait quand même bientôt 2 jours qu'il ne calculait plus rien... (les tâches arrivaient à 100% sans rien faire puis tournaient jusqu'à ce que mort s'en suive).
Parce que c'était lui, parce que c'était moi.

fzs600

  • Méchant modo
  • Messages: 6510
  • Boinc'eur devant l'éternel
  • ******
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #621 le: 11 février 2020 à 21:43 »
Cool j’en ai choper une longue.  :hyperbon:
Citer
   11 Feb 2020, 18:46:26 UTC    12 May 2020, 18:46:26 UTC    En cours    ---    ---    ---    NWChem long v0.18 (t1)
x86_64-pc-linux-gnu

Date limite 12 mai,je l'aurais fini bien avant.  :kookoo:

Utilisateur GNU-LINUX. fzs600@hub.g3l.org

JeromeC

  • CàA
  • Messages: 25019
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #622 le: 12 février 2020 à 09:40 »
Vérifie qu'elle fait bien des calculs :siflotte:
Parce que c'était lui, parce que c'était moi.

damotbe

  • Messages: 433
  • Boinc'eur Confirmé
  • ***
  •   
Re : Re : [QuChemPedIA] le topic de préparation
« Réponse #623 le: 12 février 2020 à 17:37 »
Ben c'est la même distrib débian depuis le début avec laquelle j'ai déjà fait pas mal de QCPIA... !?

A part faire des update/upgrade sur les paquets, je n'ai rien changé depuis que j'ai cette VM nunux.

La mort dans l'âme j'ai annulé toutes les tâches en attente avant de partir ce matin, ça faisait quand même bientôt 2 jours qu'il ne calculait plus rien... (les tâches arrivaient à 100% sans rien faire puis tournaient jusqu'à ce que mort s'en suive).

Si je comprends bien, ça marchait avant...

La grosse différence c'est que maintenant, mon wrapper gère les signaux pour suspendre et reprendre, ainsi que les checkpoints et la progress bar. Il faudrait regarder s'il y a des processus endormis portant les doux noms de : mpirun ou nwchem

toTOW

  • Messages: 4097
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [QuChemPedIA] le topic de préparation
« Réponse #624 le: 12 février 2020 à 20:14 »
Han du Open MPI ! J'en fais encore des cauchemars du temps où c'était utilisé sur FAH ... :priz2tet:

Longue vie aux threads ! :sun:
FAH-Addict, première source d'information francophone sur le projet Folding@Home.