Le Forum de l'Alliance Francophone

Nouvelles:

Auteur Sujet: Différence entre tâche et unité de travail (UT)  (Lu 8842 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Je crée ce sujet car je trouve depuis très longtemps qu'il y a très souvent dans le discours des crunchers et dans le monde de boinc une confusion entre le concept de "tâche" (task) et d' "unité de travail" / UT (work unit / WU).

J'ai cherché une source d'information fiable et non équivoque sur le net (dont des wiki boinc) et je n'ai en ai pas trouvé, j'ai même constaté que la confusion est parfois entretenue sur ces wikis.

Je livre ici ce que m'a appris mon expérience mais je m'empresserai de le corriger si cela s'avérait inexact.


Une tâche : il s'agit du plus petit objet qui définit ce que va calculer une application donnée pour un projet donné sur un ordinateur (hôte de calcul) donné. Elle a (un nom et) un ID unique qui l'identifie pour le projet / appli / ordi.

Cela correspond au jeu de paramètres sur lesquel l'application va être exécutée par l'ordinateur, puisque chaque tâche envoyée à un ordinateur par le serveur du projet Boinc n'est pas une nouvelle application en elle-même (sauf si changement de version) mais plutôt une déclinaison de l’exécution d'une application donnée. Ce qui fait qu'à chaque nouvelle tâche de cette application exécutée sur l'ordinateur seul un petit volume de donnée (fichier de paramètres) est (généralement) téléchargé par l'ordinateur hôte.

Je ne parle pas ici des projets / application à base de machine virtuelle sous VirtualBox, ça peut être (beaucoup) plus compliqué et ça dépend des projets.

Elle contient des informations précises sur l'application, sa version, l'ordinateur, l'horodatage (envoi, exécution, durée), l'exécution (status, FLOPS, mémoire) et le résultat des calculs (statuts, crédits accordés et log d'exécution / output). Attention ce n'est pas le résultat du calcul lui-même, qui est un autre fichier de données renvoyé par l'ordinateur vers le serveur du projet.

Citer
Nom   universe_bh2_180328_236_3648446352_20000_1-999999_450300_1
Unité de travail (WU)   15830048
Créé   16 Apr 2018, 6:18:27 UTC
Envoyé   9 May 2018, 8:39:25 UTC
Date limite de rapport   23 May 2018, 8:39:25 UTC
Reçu   9 May 2018, 16:32:39 UTC
État du serveur   Sur
Résultats      Succès
État du client   Fait
État à la sortie   0 (0x0)
ID de l'ordinateur   492077
Temps de fonctionnement      4 heures 9 min 19 sec
Temps de CPU   3 heures 51 min 19 sec
Valider l'état   Valide
Crédit   666.67
Device peak FLOPS   2.48 GFLOPS
Version de l'application   Universe BHspin v2 v0.05
Peak working set size   5.12 MB
Peak swap size      2.33 MB
Peak disk usage   1.59 MB
Stderr output   <core_client_version>7.4.42</core_client_version>
   <![CDATA[
   <stderr_txt>
   14:49:01 (2060): called boinc_finish(0)
   </stderr_txt>
   ]]>


Une unité de travail (UT) : il s'agit d'un objet de niveau supérieur qui définit à quel(s) ordinateur(s) une même tâche a été envoyée (un ou plusieurs) en fonction du quorum de l'application. Quand je dis "une même tâche" j'entends "un même jeu de paramètres pour exécuter l'application" puisque chaque tâche de la WU aura un ID distinct - sur un ordinateur différent à chaque fois, une même tâche n'étant jamais renvoyée à un même ordinateur, ça n'aurait pas d'intérêt pour le projet.

Ainsi une UT regroupe le détail de l'exécution d'une tâche pour chaque ordinateur concerné, quand il y en a plusieurs - les projets à quorum de 1 ne l'envoient qu'à un seul ordinateur.

Le nom de la WU est donc logiquement la racine du nom de la tâche, chaque tâche en étant une déclinaison : par exemple ici "_1" est rajouté à droite du nom de la tâche et il y a une autre tâche "_0".

Elle contient des informations sur l'application, le quorum, les maximum de tâches autorisés (erreur max, total max et succès max) ainsi que la liste des tâches associées pour chaque ordinateur hôte. On voit bien que deux tâches d'une même unité de travail peuvent avoir des durées d'exécution très variables (en fonction du CPU, etc) mais que le crédit attribué est unifié (*).

Citer
nom   universe_bh2_180328_236_3648446352_20000_1-999999_450300
applications   Universe BHspin v2
créé   15 Apr 2018, 18:33:48 UTC
résultats canoniques   35706143
crédit accordé   666.67
quorum minimum   2
réplication initiale   2
nombre maximum de tâches en erreur/totales/succès   4, 10, 2

Tâche   Ordinateur   Envoyé   Délai reporté
   ou date limite
   État   Temps de
   fonctionnement

   (sec)
   Temps de
   CPU

   (sec)
   Crédit   Application
35706143   490352   9 May 2018, 8:39:15 UTC   9 May 2018, 10:04:01 UTC   Terminé et validé   4,418.52   4,402.32   666.67   Universe BHspin v2 v0.05
35706144   492077   9 May 2018, 8:39:25 UTC   9 May 2018, 16:32:39 UTC   Terminé et validé   14,959.71   13,879.38   666.67   Universe BHspin v2 v0.05

(*) je ne connais pas les règles d'attribution des crédits mais il y a clairement un perdant dans l'affaire, à moins que ce soit l'autre qui est gagnant ! (qui a dit que ça revenait au même ? ;) )


A vot' bon coeur m'sieurs dames.
« Modifié: 10 May 2018 à 21:32 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne fzs600

  • Méchant modo
  • Boinc'eur devant l'éternel
  • ******
  • Messages: 7779
  •   
Réponse #1 le: 10 May 2018 à 08:27
Ça mériterait d’être publier sur le portail.  :jap:  :kookoo:


Utilisateur GNU-LINUX. fzs600@hub.g3l.org


Hors ligne [AF>Amis des Lapins] Jean-Luc

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 3396
  •   
    • Le calcul partagé en atsronomie sous BOINC
    • E-mail
Réponse #2 le: 10 May 2018 à 10:34
Merci JeromeC, c'est très clair et très subtil.
Je n'avais jamais fait la différence.



Rédacteur d'un article sur BOINC, adresse :
http://www.astrocaw.eu/?p=605
Créateur d'un site actif de recherche sur les suites aliquotes :
http://www.aliquotes.com/


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #3 le: 10 May 2018 à 10:59
Et je vous raconte pas comment je me suis fait c***r à faire de beaux tableaux avec les balises qui vont bien pour que les 2 exemples soient joliment affichés :D

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #4 le: 10 May 2018 à 11:31
Un grand merci à toi, Jéjé :jap:


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


Hors ligne Jakez Sulli

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1083
  •   
    • Alliance Francophone
    • E-mail
Réponse #5 le: 10 May 2018 à 14:13
 :kookoo: JeromeC formidable  :jap:

« La connaissance s'acquiert par l'expérience, tout le reste n'est que de l'information.» - Albert Einstein
 


Hors ligne Ceclo

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1538
  •   
    • E-mail
Réponse #6 le: 10 May 2018 à 15:48
Merci pour ces précisions!
Donc pèour résumé, on ne reçoit sur nos PC que des tâches faisant partie d'UT qui dispatch ses tâches sur plusieurs machine. C'était pourtant pratique et vite écrit UT... A mon avis il faudra quelques générations pour remettre l'église au milieux du village!  :lol:



Hors ligne overclockman

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1738
  •   
Réponse #7 le: 10 May 2018 à 23:07
Si j'ai tout bien compris, sur un projet à quorum 1 il n'y a pas vraiment de différence ?  cocoricooo



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #8 le: 10 May 2018 à 23:18
Ben si, l'UT reste l'enveloppe et la tâche le vrai travail, sauf que dans ce cas le projet ne l'envoie qu'à une seule machine :)

Le système de quorum a été conçu pour que les projets aient un moyen simple de valider le travail effectué en le faisant calculer par plusieurs machines différentes. Mais tous les projets ne sont pas forcément intéressé par ça, pour diverses raisons.

Y'a pas longtemps on a discuté du fait que l'admin d'un projet a expliqué pourquoi ils avaient abandonné un quorum > 1 et étaient passé à Q=1 avec d'autres méthodes de contrôle... mais je me souviens plus quel est ce projet :)
« Modifié: 10 May 2018 à 23:20 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne overclockman

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1738
  •   
Réponse #9 le: 10 May 2018 à 23:43
Un peu comme 'l'encapsulage" en vidéo.

C'était pas Collaz pour une histoire de triche ?



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #10 le: 11 May 2018 à 10:14
Oui voila c'est Collatz, mais pas à cause de la triche, l'admin avait expliqué les inconvénients (pour eux) du quorum >1 qu'ils avaient utilisé au début du projet et d'un système de validation très différent qu'il avait mis en place... et auquel j'avais rien compris :D

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne toTOW

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4518
  •   
    • FAH-Addict.net
    • E-mail
Réponse #11 le: 11 May 2018 à 13:46
Sur FAH, il n'y a que des WU (UT si vous voulez franciser) ! :D

FAH-Addict, première source d'information francophone sur le projet Folding@Home.


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #12 le: 11 May 2018 à 22:09
Sauf qu'ici, on est chez Boinc  :blbl:  :D

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne GuL

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2225
  •   
Réponse #13 le: 11 May 2018 à 23:24
Merci c'est très intéressant   :oki:

Ça mériterait d’être publier sur le portail.  :jap:  :kookoo:
:plusun:



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #14 le: 13 May 2018 à 12:34
Done :)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19058
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #15 le: 14 May 2018 à 10:44
Oui voila c'est Collatz, mais pas à cause de la triche, l'admin avait expliqué les inconvénients (pour eux) du quorum >1 qu'ils avaient utilisé au début du projet et d'un système de validation très différent qu'il avait mis en place... et auquel j'avais rien compris :D

Peut-être que cette explication t'aidera?
None of the WUs should ever end up as inconclusive because they are either valid or not. The validation is done within the WU. e.g. the CPU WUs doulble check every new "high" using a separate algorithm and if they don't agree, it fails. If they do, it should validate. There shouldn't an "inconclusive". I'm going to turn off the file deleter so that once I figure out what is going on I can re-validate the tasks so you should get credit.

La validation se fait à l'intérieur de l'UT, càd que les UT CPU font une double vérification de chaque nouveau "haut" en utilisant un algorithme séparé. Si les deux [algorithmes] ne sont pas d'accord, l'UT est invalide; s'ils sont d'accord, elle devrait être validée.


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #16 le: 14 May 2018 à 13:52
Merci Modesti. 

Il expliquait aussi dans une discussion plus ancienne pourquoi le Q=2 n'était pas bon pour lui. Mais je crois que c'était dans l'ancien forum, dans la longue discussion sur la triche, car il n'a repris aucun historique de son forum quand il a mis la nouvelle version de boinc serveur.

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #17 le: 16 May 2018 à 23:08

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)