Le Forum de l'Alliance Francophone

L'Alliance Francophone => L'AFabric => Discussion démarrée par: [AF>Libristes] ElGuillermo le 18 octobre 2020 à 21:19

Titre: outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 18 octobre 2020 à 21:19
Pour celles et ceux qui visent "le prochain badge" et qui se demandent où ils en sont de leurs calculs avec les pendings importants, j'ai bricolé un petit estimateur qui se base sur ce que vous avez déjà calculé avec vos machines :

https://guillaumejamet.fr/petits_outils/boinc_wcg_stats.php (https://guillaumejamet.fr/petits_outils/boinc_wcg_stats.php)

C'est plutôt simple, mais ça marche bien :) Ça évite surtout de continuer à calculer sur un sous-projet quand on a déjà atteint le seuil que l'on vise.

La source en PHP est dispo sur demande :)
Titre: outil d'analyse du pending WCG
Posté par: JeromeC le 18 octobre 2020 à 22:12
Ca a l'air cool, mais je comprends pas trop comment le lire... où sont les "prochains badges" ? que représente la durée indiquée ? pourquoi j'ai une machine au milieu de la liste ?

(http://pix.toile-libre.org/upload/original/1603050022.png)
Titre: outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 18 octobre 2020 à 22:19
D'après ce que je vois,
- tu as une seule machine (vps400147) qui a récemment terminé une WU sur le seul sous-projet  "Smash Childhood Cancer" en 1h12m35s.

De ce fait, il n'y a pas grand chose de plus à calculer, puisque tu n'as ni WU en cours, ni WU en pending ;)
Les badges acquis apparaissent en face des noms de projet.
La projection est égale à ce que tu as déjà acquis (ni running, ni pending à ajouter)

Ça colle ou pas ? (j'ai pas tout testé : y'a peut-être encore des bugs, mais je n'en ai pas rencontré dans mon seul cas)

EDIT : voilà ce que ça donne chez moi :
(http://pix.toile-libre.org/upload/thumb/1603053104.png) (http://pix.toile-libre.org/?img=1603053104.png)
(http://pix.toile-libre.org/?img=1603053104.png)
Titre: outil d'analyse du pending WCG
Posté par: JeromeC le 18 octobre 2020 à 23:55
Ah tu veux dire que ça ne sert "que" à mesurer là où tu vas par rapport à du pending ?
Titre: outil d'analyse du pending WCG
Posté par: Maurice Goulois le 19 octobre 2020 à 04:28
Super outil, merci  :oki:

Petit défaut, on est Af, si tu peux mettre un max de libellés en FR  :siflotte:  mais c'est vraiment clair (pour les habitués de WCG).

C'est le genre d'infos que je regarde quotidiennement pour faire le point; beaucoup plus rapide et concis avec ça :)
Titre: outil d'analyse du pending WCG
Posté par: naz le 19 octobre 2020 à 08:00
Vraiment top comme outil! Merci  :jap:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: cougarpelardou le 19 octobre 2020 à 08:16
Sympa l'outil. 1 mois de pending presque Après mon lâcher Thor ce matin.  :hyperbon:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Oncle Bob le 19 octobre 2020 à 09:24
Petit bug : mes projets 10 ans apparaissent avec le badge 5 ans.

Exemple :

Microbiome Immunity Project (mip1) 5 years  10y 302d 03h 41m 17s
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: titidestroy le 19 octobre 2020 à 11:16
J'ai des HSTB qui apparaissent sur mon android mais je ne vois aucune unité sur le site WCG et je suis surpris que les android en calcule.
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Oncle Bob le 19 octobre 2020 à 12:08
@Oncle Bob : oui  : ma faute : je me suis arrêté à 5 ans pour tester sur moi et j'ai oublié de coder les suivants... :/ Je fais ça ce soir :)


Je ne sais pas si c'est voulu, mais ton site nous permet de lier ton pseudo à ton identité, métier, réseaux sociaux et tutti quanti.


Edith : Autre bug : ton outil m'indique 6y 232d 17h 52m 23s pour Open Zika, or selon WCG j'ai un total de 18:232:17:52:23 sur ce projet.

Rends moi mes 12 ans :o
Titre: outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 19 octobre 2020 à 13:12
@Bob :
- J'ai ajouté les durées jusqu'à 100 ans (!)
- Mon profil : oui : ça ne me chagrine pas outre mesure...
- Bizarre, ces douze ans qui manquent... Surtout que le reste des données est bon... Doit y avoir un bug. REste à savoir si c'est dans les données transmises ou dans ma moulinette :/
EDIT : j'ai changé un truc dans mon bouzin : remate voir ?

@titidestroy :
difficile de te dire ce qu'il se passe : je n'ai pas accès à tes données...
Vérifie ici ce que "voit" le projet : https://www.worldcommunitygrid.org/ms/viewBoincResults.do (https://www.worldcommunitygrid.org/ms/viewBoincResults.do)
Logiquement, ce que mon truc affiche n'est rien d'autre que ce que trouveras là, puisque c'est de là que ça vient.
Si on s'en tient à ce que dit le site de WCG (https://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq#251 (https://www.worldcommunitygrid.org/help/viewTopic.do?shortName=minimumreq#251)), il n'y a pas d'app Android sur HSTB... T'es bien sur de l'Android et pas sur un Linux ?
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: titidestroy le 19 octobre 2020 à 14:06
Autant pour moi je suis débile.
C'est du MCM, la ligne HSTB est collée au-dessus et je n'ai pas fait attention.
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: JeromeC le 19 octobre 2020 à 14:11
Tu devrais créer un topic dédié dans la section l'AFabric pour ton outil, il le mérite :)
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Oncle Bob le 19 octobre 2020 à 14:33
C'est mieux !
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Fabrice.ltn le 19 octobre 2020 à 16:36
Salut Elguillermo,

J'ai essayé... certes mon nouveau compte est récent, mais je suis déjà à 90 jours cumulés sur MCM et l'applicatif ne me renvoie aucun résultat... je ne dois pas faire la bonne manipe. :)
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Fabrice.ltn le 19 octobre 2020 à 17:31
J'ai bien autorisé le partage des données... ça a été tout un sketch la semaine dernière. :)

J'ai bien lié mon pseudo avec le "code de vérification" ... si non, de quel autre code il s’agit ?
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Fabrice.ltn le 19 octobre 2020 à 17:40
Je te mets une petite image... j'ai volontairement enlevé le code avant de faire imprime écran.
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Arkhenia le 19 octobre 2020 à 20:57
 :hello:

Sympa ton outil mais j'ai je penses un soucis. En effet, j'ai accès à mes données globales mais pas au détail des WU en cours et sur quel machine

Voir pièce jointe

Merci de ton aide et encore une fois super boulot

 :hello:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Arkhenia le 20 octobre 2020 à 09:49
@Arkhenia :
Je confirme : on a accès aux données XML (globales, depuis ton inscription à WCG), mais pas aux données de WUs en cours... Bizarre :/

Je viens de tester de nouveau avec un autre code de vérification et tout est Ok. J'ai accès aux WU en cours su rmes différentes machines

Encore une fois super outil :gloiraseti:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Antares le 20 octobre 2020 à 11:36
Impossible d'accéder. C’est quel ID et MDP qu'il faut utiliser?
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Antares le 20 octobre 2020 à 16:47
C'est bon, j'utilisais pas le bon...Merci
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Fabrice.ltn le 20 octobre 2020 à 17:39

@Fabrice.ltn :
j'ai l'impression que le souci vient du fait que tu n'as calculé que sur un seul projet... Je vais essayer de trouver une parade ;)
SI je peux faire avancer le schmilblik ! ;)
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: JeromeC le 20 octobre 2020 à 21:58
Bien sûr que si tu peux en faire un topic !! c'est pas parce que ce fut fait pour toi que ça peut pas profiter aux crunchers passionnés qui peuplent le forum !
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: JeromeC le 20 octobre 2020 à 23:22
Oh oui Gentil Modo, coupe à partir de là (https://forum.boinc-af.org/index.php/topic,3797.msg506615.html#msg506615) et mets le dans l'AFabric, genre "outil d'analyse du pending WCG" ou un truc du genre que l'auteur voudra bien choisir, s'il te plait Gentil Modo, fais le :jap: :gni:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Maurice Goulois le 20 octobre 2020 à 23:25
Magnifique, superbe  :jap: :jap: :jap:

Mais, par ex., 13d ce n'est pas français   :lol: :lol: :lol:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: Maurice Goulois le 20 octobre 2020 à 23:29
Farpait !  :) :) :)


Et merci encore  :jap: :jap: :jap:
Titre: Re : Re : [WCG] World Community Grid (multi-projets)
Posté par: JeromeC le 23 octobre 2020 à 17:52
Pas de gentil modo dans les parages... dommaaaaaage...
Titre: outil d'analyse du pending WCG
Posté par: JeromeC le 23 octobre 2020 à 17:59
Super Antares merci !! mais... pourquoi le reste de l'autre sujet a disparu / vide ???
Titre: Re : outil d'analyse du pending WCG
Posté par: Antares le 23 octobre 2020 à 18:07
J'ai du faire une bourde...Les admins svp, vous pouvez réparer?
Pourtant je n’ai fais que séparer...
Titre: Re : outil d'analyse du pending WCG
Posté par: JeromeC le 23 octobre 2020 à 18:55
Ah mais non y'a un 2ème topic de même nom qui lui n'est pas marqué comme "déplacé" : https://forum.boinc-af.org/index.php/topic,3797.2950.html

Je crois que tout est OK !
Titre: Re : outil d'analyse du pending WCG
Posté par: Antares le 23 octobre 2020 à 20:09
Jéjé arrête de me faire peu, à mon age...
Titre: Re : outil d'analyse du pending WCG
Posté par: JeromeC le 24 octobre 2020 à 10:54
Ça maintient les sens éveillés :D
Titre: Re : outil d'analyse du pending WCG
Posté par: Antares le 24 octobre 2020 à 11:45
 :warf:
Titre: Re : outil d'analyse du pending WCG
Posté par: Maurice Goulois le 12 novembre 2020 à 15:24
J'aime vraiment bien cet outil  :jap: cependant, c'est parfait pour OPN mais il a cessé d'indiquer la ligne "projection" pour ARP depuis quelques jours (vraiment pas grave, c'est facile à faire de tête avec ce projet  :sun:)
Titre: Re : outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 12 novembre 2020 à 15:46
Hello et merci :)

Le truc, c'est que la ligne "Projection" ne s'affiche que s'il y a possibilité de projeter...
En gros : s'il n'y a aucune WU en pending ou aucune WU en cours de calcul : il n'y a rien à espérer :/

Cependant : un cas particulier :

Les calculs projetés se basent sur les données de chaque machine de manière indépendante.
Cela pour éviter de se baser sur la puissance d'un petit CPU pour estimer celle d'un gros monstre.
Or, on ne dispose que de données précises "récentes" (une dizaine de jours à peu près), la moyenne "archivée" mélangeant les résultats et les temps de toutes la machines qui ont travaillé sur le projet.

Donc :
On peut avoir des WU en cours de calcul sur une machine, mais pas de projection, parce que le temps de calcul n'est pas connu sur cette machine.
Soit cette machine n'a jamais calculé sur ce projet, soit elle a déjà calculé, mais il y a plus de 10 jours... Le système a "oublié" ses données.
-> il faut attendre qu'une WU soit calculée et renvoyée au serveur pour avoir un temp de calcul et, donc, une projection du temps total pour toutes les WUs en cours de calcul.

... Je peux toujours ajouter une estimation par rapport aux données globales du projet, mais cela voudra dire que si on a toujours calculé avec un petit Pentium 4, la projection se basera sur sa puissance pour estimer le temps de complétion des WUs en cours. Si, cette fois, on est passé sur un énorme AMD Threadripper (ou un Intel I9, hein) : la projection sera complètement fausse :/
Titre: Re : outil d'analyse du pending WCG
Posté par: JeromeC le 12 novembre 2020 à 17:41
Et une fausse projection, ça peut être une vrai connerie :D
Titre: Re : outil d'analyse du pending WCG
Posté par: Maurice Goulois le 12 novembre 2020 à 21:05
Je me doutais un peu de ça :) mais t'emmerde pas avec sauf si tu en as envie ou besoin :) arp est assez facile à projeter avec un cerveau normalement fonctionnel :)

Tu fais gagner du temps, c'est pas rien; à la mimime il faut se farcir la liste des résultats par statut. Pas difficile mais pas fun :)
Titre: Re : outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 13 novembre 2020 à 00:22
C'est rapide et facile à faire : le script dispose déjà de toutes les données : il n'y a plus qu'à faire appel à elles pour les afficher.

Mais projeter un temps de calcul en s'appuyant sur une moyenne de résultats qui, pour certains, ont plusieurs années et ont donc été calculés sur des ordinateurs dont la puissance n'a rien à voir avec celle dont on dispose aujourd'hui, est... sans lien avec la réalité ?
Titre: Re : outil d'analyse du pending WCG
Posté par: Maurice Goulois le 13 novembre 2020 à 01:21
:) te prends pas la tête. Ça reviendra quand j'aurais fini mon objectif sur OPN et que il n'y aura plus que ARP en cours.
Titre: Re : outil d'analyse du pending WCG
Posté par: Fabrice.ltn le 14 novembre 2020 à 11:24
Ouaip, je plussoie, ça fonctionne très bien ton petit outil... c'est top.
Titre: Re : outil d'analyse du pending WCG
Posté par: franky82 le 08 juin 2021 à 12:36
Cet outil est toujours génial !
mais je posais une question : OPN1 apparaît mais OPNG (version GPU) est-il pris en charge (comptabilisé) avec OPN1 ou non ?
Titre: Re : outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 08 juin 2021 à 13:32
Hello. Je t'avoue que je ne m'en suis pas tellement inquiété : le truc "découvre" tout seul les projets... Logiquement, si OPNG est classé différemment d'OPN1, il devrait apparaître... Faudrait que je regarde dans les fichiers d'export ce que ça donne.
Titre: Re : outil d'analyse du pending WCG
Posté par: franky82 le 08 juin 2021 à 14:09
J'ai regardé et comparé avec les résultats affichés sur WCG : il semble que les résultats OpenPandemics cumulent OPN1 et OPNG --> même temps de calcul sur WCG et sur ton outil (même si cela affiche OPN1, en face de OpenPandemics) !
Titre: Re : outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 08 juin 2021 à 14:16
ok. Il y a peut-être moyen de patcher pour différencier les deux, à condition qu'ils soient effectivement diférenciés dans l'export des données. Là, je bosse, mais je peux regarder ça vite fait ce soir.
Titre: Re : outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 08 juin 2021 à 18:14
OK, je viens de regarder : on peut effectivement différencier les "opng" des "opn1" au sein du même projet, mais le serveur ne comptabilise que le temps CPU et pas le temps GPU :/ Du coup, on se retrouve avec des valeurs marginales, de l'ordre d'une ou deux secondes par WU... Pas forcément très significatif sur le pending :/

Je vois s'il y a moyen d'afficher une info intéressante ou pas, mais cela suppose que je replonge dans un code assez touffu. Peut-être un "chantier" dans les jours prochains ? :)
Titre: Re : outil d'analyse du pending WCG
Posté par: [AF>Libristes] ElGuillermo le 16 juin 2021 à 20:37
Bon : j'y suis arrivé ! :D

Pas toujours simple de reprendre un script de 1800 lignes, même (surtout ?) quand c'est le sien :)
Heureusement, comme ça m'est déjà arrivé par le passé, je me laisse toujours des commentaires pour mon "moi idiot du futur" :)

A priori, tout est "bon", mais j'ai eu peu d'occasions de tester in vivo : les WUs opng sont rares :/
Titre: Re : outil d'analyse du pending WCG
Posté par: franky82 le 16 juin 2021 à 20:47
Ah oui, OK ! Pour OpenPandemics, pour chaque machine, CPU et GPU !  :jap:
(et les UT OPNG appaissent en face de GPU)