Africa Rainfall Project - Précipitations Projet Afrique - WCG

[[CSF] Christian Carquillat]

8 validées et une grosse cinquantaine en pending

[JeromeC]

Donc : ARP n'a aucun point de reprise, ou presque.

Reboot pour jouer à Diablo 4 hier soir sous windows, certaines avaient plus de 20 heures de calculs, et les 3/4 sont reparties de 0 sauf quelques unes, allez savoir pourquoi (pas toutes).

Et là elles ont toutes une deadline à demain (depuis ce matin y'en a une en calcul haute priorité avec une deadline dépassée), et figurez vous que j'ai envie de jouer à Diablo : j'avais déjà mis à "pas de nouveau travail", là je crois que ça sera "dans la poubelle les 15 tâches en cours x 20 heures de calcul chacune (alors que j'avais lutté comme un fou pour finir tous les téléchargements à coup de retry frénétique), et adieu ce projet de marde".

[[CSF] Christian Carquillat]

C'était la même misère quand OPNG était de la partie, depuis deux ans facile WCG fait fuir pas mal de monde

[JeromeC]

Bon finalement j'ai regardé des vidéos sur le Vendée Globe, Laurie Anderson (O superman hahahaha) et Lou Reed. Donc j'ai pas rebooté.

Lou Reed m'a sauvé, qui l'eut cru.

[[CSF] Christian Carquillat]

Et bah moi depuis hier soir, j'ai l'impression que je me tape toutes les ARP de ceux qui lâchent l'affaire

Il n'y a pas encore de quoi occuper pleinement mes cores sur ce projet, mais je sens bien que le "retry" est de pire en pire sur ceux qui persistent

[JeromeC]

C'est vraiment formidable j'en suis à 1j 10h de calcul pour des tâches à 90%, tout ça sans point de reprise...

En revanche comme d'hab système de crédit sans rapport avec l'effort / la durée de calcul : sur une tâche où mon mac a mis un peu plus du double de temps à calculer que le wingman, avec un crédit demandé qui était un peu moins du double que celui demandé par l'autre, ben WCG a fortement réduit mon crédit et a fortement augmenté celui du wingman, genre il a fait une moyenne. C'est parfaitement inique, avoir une machine rapide = plus de tâches calculées et des points artificiellement augmentés si tu tombes sur un wingman lent.

Seul point positif il semble que la tâche  qui avait bien dépassé sa deadline a quand même été créditée.

Mais il n'empêche qu'une fois les tâches en cours finies, ciao feo.

[[CSF] Christian Carquillat]

ARP n'a pas changé depuis l'époque, il fait partie des projets que tout le monde ne peut pas faire, et encore moins en cas de planification de redémarrage
WCG ne fait pas comme d'autres qui te comptent des crédits proportionnellement au runtime à chaque fois, c'est à double tranchant car quand en cas de redondance tu gagnes, ou tu perds

[Maeda]

Les MCM déconnent aussi maintenant (ça marchait bien avant la reprise de ARP). Ce sous-projet fout la grouille.

[Maeda]

Histoire d'éviter une crampe à cliquer sur Retry, pour les linuxiens, mettez ça dans votre crontab :

Code Sélectionner Étendre

*/2 * * * * boinccmd --network_availableToutes les 2 minutes, il va retenter automatiquement. OSEF s'ils ne corrigent pas, je fais comme ça.

[[CSF] Christian Carquillat]

Disons plutôt que ce projet n'aide pas, mais même avec un seul en route, WCG moderne arrive à se briquer tout seul

Il n'y aurait pas un app_config ou un cc_config pour le retry sans BSF ?
Ce n'est pas que je refuse de franchir le pas, mais je préfère me contenter de ce que je maitrise pour le moment, et quand la fatigue que je traine depuis trop de jours sera un peu plus loin je verrai

[JeromeC]

Bon elles sont toutes parties et "au moins" il les a validé. 

J'ai trouvé une tâche où il a fait l'inverse de ce que je disais plus haut : j'ai mis plus longtemps et j'ai eu plus de crédits que le wingman, mais d'autres tâches où il fait strictement l'inverse, j'y comprends rien. 

"en cas de redondance tu gagnes, ou tu perds" : redondance ? il y a un quorum de 2 avec toujours 2 calculs, donc pourquoi "en cas", c'est toujours ! et c'est "tu gagnes ou tu perds aléatoirement", donc.

Mais bon, grand max 1000 crédits pour 36 heures de calcul, ça change pas grand chose de toutes façons.

Adios ARP, bonjour les projets du mois. 

[modesti]

Ouais, c'est clair que les crédits ne sont pas vraiment en rapport avec le temps de calcul (environ 17h chez moi pour - en moyenne - 670 crédits) ni avec la taille des fichiers à télécharger et à renvoyer. Pour l'instant trois tâches validées sur six. La moyenne va p'tet remonter un peu (on peut rêver ).

Par curiosité, j'ai quand même regardé le log d'une tâche valide et on dirait qu'il y a des points de sauvegarde - même si leur calendrier semble être un peu pété

<core_client_version>8.0.4</core_client_version>
<![CDATA[
<stderr_txt>
INFO: Initializing
INFO: No state to restore. Start from the beginning.
Starting WRFMain
[18:42:17] INFO: Checkpoint taken at 2019-04-05_06:00:00
[21:02:58] INFO: Checkpoint taken at 2019-04-05_12:00:00
[23:19:10] INFO: Checkpoint taken at 2019-04-05_18:00:00
[01:21:11] INFO: Checkpoint taken at 2019-04-06_00:00:00
[03:25:20] INFO: Checkpoint taken at 2019-04-06_06:00:00
[05:45:56] INFO: Checkpoint taken at 2019-04-06_12:00:00
[08:08:02] INFO: Checkpoint taken at 2019-04-06_18:00:00
[10:01:14] INFO: Checkpoint taken at 2019-04-07_00:00:00
INFO: Simulation complete compressing output.
10:02:38 (918551): called boinc_finish(0)

</stderr_txt>
]]>

[JeromeC]

Moi j'avais clairement perdu 20 heures de calcul sur une majorité de tâches (mais pas toutes) quand j'avais rebooté l'autre jour.

Mais bon, ça, c'était avant

[[CSF] Christian Carquillat]

J'ai également remarqué ce même délire sur plein de WU et de points de sauvegardes, en pratique c'est mieux qu'une machine full P2 qui repart du début après deux jours suite à une défaillance du réseau électrique

De mon côté il y a 53 ARP validées avec un temps par tâche allant entre 16 et 24h pour entre 350 et 800 crédits par WU

[modesti]

Réflexion faite, je me demande si ces "checkpoint taken from" ne correspondraient pas plutôt à des points météo. Comme s'ils étaient en train d'alimenter une base de données avec les infos du passé pour prédire l'avenir.

[JeromeC]

De la news que j'ai traduit (heu, que deepl a surtout traduit ) sur le portail il me semble que l'idée est que les résultats d'une tâche sont injectés pour "calculer" [le contenu] de nouvelle(s) tâche(s), c'est comme ça qu'ils arrivent à faire de la modélisation prédictive - au lieu d'une seule tâche hyper longue à la CPDN.

Mais je sais pas si c'est lié à ce qu'il y a dans ce log.

[bill1170]

Ca devient un peu énervant. Contrairement à ce que je disais plus haut, les UT continuent à arriver au rythme des tuyaux presque bouchés. Sauf qu'ils sont bouchés dans le sens retour aussi. Et là j'en ai un paquet de déjà calculée qui ne passent pas depuis des jours et dépassent la date limite de renvoi. 

[[CSF] Christian Carquillat]

C'est deux fois plus bouché pour le retour, et comme sur ce projet on a six fichiers de plusieurs dizaines de Mo par WU, la galère
J'avais interrompu les nouvelles demandes de travail depuis 3 ou 4 jours, j'arriverai probablement avant ce soir à finir de tout renvoyer

Heureusement, comme j'ai beaucoup d'ARP dans les bouchons, celles qui rentrent en retard (en ayant terminé de calculer avant la deadline) semblent globalement prises en compte, quel soulagement

[JeromeC]

C'est quand même ingérable ce projet...

[Antares]

C'est pour ça que j'ai abandonné ...

[erik]

ARP, mon premier synthétiseur...



 

[[CSF] Christian Carquillat]

Quand je vois les serveurs Krembil, je me dis, bon, tant pis 

[Ironman]

J'abandonne aussi, vraiment trop galère cette tuyauterie 

[JeromeC]

ARP, mon premier synthétiseur...