Le Forum de l'Alliance Francophone

Nouvelles:

Auteur Sujet: IDGF, AlmereGrid@Home, EDGeS@Home et STZAKI@Home  (Lu 9258 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
International Desktop Grid Federation

Au commencement, pour nous, le public, apparurent Seti@home, Folding@home, United Devices et Distributed.Net, pour ne nommer que les plus influents.

Pendant ce temps-là, nos amis scientifiques ne chômaient pas et développaient leurs Centres de calcul. United Devices qui hébergeait WCG arrête sa grille et IBM déplace WCG sur Boinc avec une période de transition.

Le temps passe, beaucoup de créativité ;) Boinc évolue, des solutions alternatives à Boinc apparaissent (OurGrid grille p2p, CleanCE pour grappes de serveurs,...)

Les Centre de calcul évoluent vers des Service Grids/Grilles de service; Boinc et autres sont recensés comme Desktop Grid/Grille de postes de travail (ou Grilles de bureau), pas évident de traduire plus élégamment  :desole:

Mais ça reste un sac de nœuds, pas très interopérable tout ça :cpopossib: Nos amis scientifiques sont observateurs et ont reconnu le potentiel des Desktop Grid.

Nait alors, en 2004, le projet EGEE (Enabling Grids for E-sciencE/Validation de grille pour l'e-Science).

Objectifs d'EGEE:
1. Construire une grille sûre, fiable et robuste.
2. Développer une solution simple de middleware/intergiciel, destinée à de nombreuses applications scientifiques.
3. Attirer, engager et soutenir une grande variété d'utilisateurs, scientifiques ou industriels, et leur fournir un soutien technique et de formation

Une représentation d'EGEE

En 2008, AlmereGrid et EDGeS se rencontrent là pour un partage d'expérience avec notamment XtremWEB et le soutien de gridforum.nl. Ce n'est bien sûr pas la seule fois où ils vont se côtoyer.

Pendant cette période, beaucoup de publications, d'initiatives et, parmi elles, nos amis d'AlmereGrid et SZTAKI vont faire un recensement assez exhaustif des Desktop Grids et des middleware existants, voir la roadmap des solutions de calcul distribué (dernière version).
 
En parallèle, nos chers amis du CERN, dans le cadre de leur projet Grille mondiale de calcul LHC développent gLite, un middleware pour les gouverner tous, un middleware pour les trouver, un middleware pour les amener tous, :D
gLite 3 devient le middleware officiel de EGEE, le projet se termine en 2010 et passe la main à EMI/European Middleware Initiative pour le middleware et l'infrastructure technique tombe dans le giron d'EGI/European Grid Infrastructure qui fait appel à EMI pour le fameux middleware :)

Quelques personnes vont avoir un impact sur notre cher monde de Boinc, avec des publications comme celles-ci, Efficient extension of gLite VOs with BOINC based desktop grids ou Boosting gLite with cloud augmented volunteer computing, ces gens-là sont trop productifs pour faire le tour :) mais certains de ces individus doués vont avoir un rôle plus près de nous.
Ce ne sont que des exemples proches de notre bienaimé Boinc, il y a surabondance de docs, il faut garder à l'esprit que nous sommes dans une démarche d'intégration internationale des plateformes et outils :)

Celui qui nous concerne le plus est Zoltán Farkas, le créateur de 3G Bridge, composant d’inter-connectivité au cœur de EDGeS@Home et SZTAKI@Home. Il a créé 3G Bridge dans le cadre d'EDGeS.
Nous retrouverons également Róbert Lovas plus loin dans le projet IDGF-SP.

Je mets un lien sur un joli graphique qui montre simplement le rôle de gLite pour Boinc, trop grand pour le caser ici, remarquez le 3G Bridge en bas à gauche :) gLite2BOINC

Dans ce qui suit, il faut parler un peu des finances; ces projets vont s'adresser au Framework Programmes for Research and Technological Development, et pour la période 2007-2013 il s'agit du 7e programme, donc FP7.

2010 Projet DEGISCO avec Xtrem-WEB HEP, qui met en œuvre 3G Bridge, financement RI-261561 (800000€), Ils sont dans un sous-ensemble FP7-Capacities. Le défunt SLinCA@Home fait aussi partie des projets qui ont été mis en route dans le cadre de DEGISCO.

2012 Création de la Stichting International Desktop Grid Federation, stichting veut dire fondation, fondation de droit néerlandais (ils y tiennent) créée à Almere (!), le dépôt peut se trouver .

Ils commencent leur aventure dans la foulée de DEGISCO (en regardant leur page facebook, on peut voir la timeline de DEGISCO qui s'arrête! mais on voit aussi quelques annonces IDGF - start, qui anticipent la création d'IDGF).

De fait, les projets EDGeS@home, SZTAKI@home et SLinCA@Home existaient avant l’apparition d'IDGF, ils ont clairement servi de plateformes de test et de développement notamment 3G Bridge, ils n'ont affiché leur affiliation à IDGF que plus tard (forcément, il est bête lui  :cpopossib:). En regardant de près, on retrouve les mêmes applications d'un projet à l'autre, SLinCA@Home persistant à travers son application SLinCA.

Une particularité de leur organisation, c'est la répartition des membre en régions (chapters) lesquelles sont Russie, Hongrie, Hollande et Asie du sud. Ils ne s'adressent donc pas à l'ensemble de la communauté internationale. Je ne sais pas si c'est une sélection délibérée ou une simple absence de candidats.

On peut remarquer que beaucoup de participants à cette création sont hongrois, ukrainiens et néerlandais.

IDGF fournit une assistance relationnelle et technique à ses membres (liste ici, au vu de la liste, on se demande comment ils les classent dans les régions  :??:), et assure de la promotion autour des grilles de calculs comme son autopromotion :)

J'ai beaucoup beaucoup simplifié, mais c'est l'essentiel, je le jure :)

Aujourd'hui leur financement est assuré, pour l'essentiel, par le projet IDGF-SP (Support Program), budget total 964,190 € auquel participent:

MTA SZTAKI HU
ALMEREGRID NL
UOW UK
LU NL
SONY UK
CE UK
IDGF  NL

Ils font quoi alors?

EDGeS et IDGF, leur monde c'est les Desktop Grids, loin des Service Grids, même si la connectivité est possible, ils font la promotion des DG mais aussi de science citoyenne...

Ils mettent à jour la roadmap que j'ai citée plus haut, fournissent des supports de promotion, de formation, et participent à des événements, ateliers... Ils se posent en facilitateurs. C'est difficile de faire un tour complet, mais pour ceux que l'anglais ne rebute pas, il y a plein de choses intéressantes à glaner :).

Traduction de la présentation du projet IDGF-SP

Il y a plus d'un milliard de PC dans le monde. La plupart de ces ordinateurs peuvent être trouvés dans les maisons des citoyens et, dans une moindre mesure, dans les entreprises et les universités. Un grande partie de ces ordinateurs reste la plupart du temps au ralenti. Environ 1 million d'entre eux sont actifs dans le soutien scientifique dans une grille de calcul bénévole et utilisent leur temps de repos pour exécuter des applications scientifiques. Le potentiel de croissance de cette capacité de calcul est énorme. De nombreuses Desktop Grid ont donc décidé de fonder la Fédération internationale des Grilles de bureau (IDGF) pour s'aider les unes les autres à améliorer leurs infrastructures en ligne.

Le but du projet IDGF-Support est de donner un coup de pouce à l'IDGF dans deux domaines importants. Premièrement, il aide considérablement avec l'augmentation du nombre de citoyens qui donnent du temps à l'e-science informatique. Il le fera par des activités de communication ciblées et la mise en place d'un réseau d'«ambassadeurs». Deuxièmement, il aide les e-infrastructures des universités à inclure les PC qui tournent au ralenti dans leurs salles de classe et les bureaux. En outre IDGF-SP recueille et analyse les données qui permettront d'utiliser les cycles inutilisés des PC d'une manière efficace et efficiente en termes d'énergie. Il a été montré que les grilles de bureau peut contribuer à une informatique durable si elle est utilisée dans le bon sens. IDGF-SP recueille des données pour étayer et préconiser les meilleures pratiques.

A la suite de IDGF-SP, le nombre de citoyens volontaires donnant du temps informatique à l'e-science augmentera de manière significative. En employant les PC inutilisés dans des Desktop Grid privées, les universités et d'autres organismes de recherche, pourront économiser sur leurs coûts en fournissant une capacité informatique pour leurs scientifiques. IDGF-SP permettra le renforcement de la coopération entre les opérateurs d'infrastructure de Desktop Grids. IDGF-SP encouragera et aidera les fournisseurs de Desktop Grid IDGF à intégrer leurs infrastructures dans l'environnement e-Science principale. L'existence d'une communauté de IDGF active et animée assure l'adoption rapide des résultats du projet IDGF-SP.

Au cours de sa première année du projet, projet IDGF-SP a maintenu et mis à jour l'infrastructure des Desktop Grid, ses liens avec d'autres infrastructures informatiques distribuées (grilles et Clouds), et élargi la documentation. Le noyau de l'infrastructure IDGF-SP se compose désormais de Desktop Grids des partenaires, SZTAKI Desktop Grid, AlmereGrid, Charity engine, ABC@home; la Desktop Grid locale de l'Université de Westminster, une grille d'usage général qui est appelé EDGeS@Home, et l'une dédiée aux études en informatique à faible énergie de SONY CSL. Au total, ce noyau e-Infrastructure comporte des centaines de milliers d'ordinateurs connectés. En outre, IDGF-SP a également apporté un soutien aux autres membres de IDGF avec la mise en place et le maintien de Desktop Grids, y compris dans la Fédération de Russie et en l'Asie du Sud-Est.

---
On voit bien que notre EDGeS@Home n'est qu'un maillon de l'ensemble :) SZTAKI@Home est vraisemblablement son modèle, mais a un rôle supplémentaire dans l'université.

« Modifié: 12 November 2015 à 19:13 par Maurice Goulois »



Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
Réponse #1 le: 11 October 2015 à 20:17
Ici, je vais m'efforcer de présenter le lien IDGF/EGI/Boinc: qui soumet des tâches, comment...); mais je n'aurai pas autant de temps que je prévoyais; ça se fera plus lentement :)
« Modifié: 16 October 2015 à 17:28 par Maurice Goulois »



Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
Réponse #2 le: 16 October 2015 à 18:36
---
« Modifié: 17 January 2016 à 00:49 par Maurice Goulois »



Hors ligne ousermaatre

  • Gentil admin
  • Boinc'eur devant l'éternel
  • *******
  • Messages: 12229
  •   
    • E-mail
Réponse #3 le: 16 October 2015 à 19:45
Merci infiniment Maugou, un bel outil pour mieux comprendre la situation actuelle.  :jap:


Hors ligne Jakez Sulli

  • DROITS - Journalistes
  • Boinc'eur devant l'éternel
  • *
  • Messages: 1083
  •   
    • Alliance Francophone
    • E-mail
Réponse #4 le: 17 October 2015 à 08:23
Merci pour ton travail Maugou de vulgarisation avec toutes ces explications  :jap:

« La connaissance s'acquiert par l'expérience, tout le reste n'est que de l'information.» - Albert Einstein
 


Hors ligne [AF>Amis des Lapins] Jean-Luc

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 3396
  •   
    • Le calcul partagé en atsronomie sous BOINC
    • E-mail
Réponse #5 le: 17 October 2015 à 08:46
Très intéressant.
Merci MauGou.

Jean-Luc



Rédacteur d'un article sur BOINC, adresse :
http://www.astrocaw.eu/?p=605
Créateur d'un site actif de recherche sur les suites aliquotes :
http://www.aliquotes.com/


Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
Réponse #6 le: 17 October 2015 à 10:49
Merci à tous :) C'est un peu au fil de l'eau, il y a 10 ans de préparatifs, négociations... à résumer ;)



Hors ligne bill1170

  • Boinc'eur Respectable
  • ****
  • Messages: 562
  •   
Réponse #7 le: 11 November 2015 à 12:14
 :kookoo: Je viens de tomber sur cette intéressante contribution de Maugou. Elle me semble mériter de passer comme article sur le portail ou à tout le moins d'être épinglée.




Hors ligne ousermaatre

  • Gentil admin
  • Boinc'eur devant l'éternel
  • *******
  • Messages: 12229
  •   
    • E-mail
Réponse #8 le: 11 November 2015 à 18:38
Oui, elle sera postée sur le portail, mais comme c'est une info importante, j'attends la fin de la course au Fb pour l'afficher en vedette sur le portail.

Comme l'article traduit par Elgrande sur Einstein@home: http://forum.boinc-af.org/index.php/topic,6843.0.html


Hors ligne [AF>Libristes] cottesloe

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1300
  •   
Réponse #9 le: 11 November 2015 à 19:43
:kookoo: Je viens de tomber sur cette intéressante contribution de Maugou. Elle me semble mériter de passer comme article sur le portail ou à tout le moins d'être épinglée.

 :+1:


"Je sers la science et c'est ma joie" Disciplus Simplex
Écoutez la meilleure émission radio de la Terre, et rêver l'avenir encore un peu sur La Planète Bleue. www.laplanetebleue.com


Hors ligne MDodier

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 11312
  •   
Réponse #10 le: 11 November 2015 à 19:46
:kookoo: Je viens de tomber sur cette intéressante contribution de Maugou. Elle me semble mériter de passer comme article sur le portail ou à tout le moins d'être épinglée.

 :+1:


Config : i7 860 2.8 Ghz, Win 7 64 bits, 16 g DDR3 de ram, 1.5 To DD, 750 watts, ATI Sapphire HD 7870, écrans 24 et 23 pouces.


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #11 le: 12 November 2015 à 14:26
Ce qui est dommage c'est que toutes ces belles initiatives pour le cruncheur final se traduisent par pas grand chose aujourd'hui, voir des projets morts sans UT, ou je me trompe ?

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
Réponse #12 le: 12 November 2015 à 18:51
Ce qui est dommage c'est que toutes ces belles initiatives pour le cruncheur final se traduisent par pas grand chose aujourd'hui, voir des projets morts sans UT, ou je me trompe ?
Je pense qu'il y a eu une période d'engouement dans la communauté scientifique avec des crédits par-ci par-là lâchés par les instances officielles, ça a permis de créer les outils nécessaires pour que ça fonctionne, mais ça s'est accompagné d'une lourdeur administrative comme souvent, et que personne n'a également prévu la maintenance requise au fil du temps. Par ailleurs, un des effets secondaires d'IDGF est l'utilisation des postes informatiques existants dans les universités; la "passerelle" avec Boinc est donc une option de "repli" en cas de besoins supérieurs à la capacité de calcul des universités, sachant qu'il faut que ce "trop plein" corresponde aux applications "compatibles Boinc" qui ont été développées (que j'ai listées dans le fil sur EDGeS@Home). Il y a une grande partie des applications scientifiques qui ne sont pas "boincisées" :)
3G-Bridge c'est surtout un système d'interconnexion pour faciliter la gestion "administrative", rendre compatibles les demandes de travail, la mise en forme des unités de travail...

Ca va me prendre du temps :) mais je fais réaliser une sorte de frise temporelle sur les étapes de l'édification d'IDGF et EGI (ex-EGEE). Il faut voir aussi IDGF comme une initiative "régionale" dans le grand ensemble EGI.

Edit: d'ailleurs si certains parmi vous ont des conseils, astuces, méthodes, outils, suggestions pour une telle frise temporelle, je suis preneur :)
« Modifié: 12 November 2015 à 19:10 par Maurice Goulois »



Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
Réponse #13 le: 17 January 2016 à 00:48
Le serveur EDGeS@Home n'est plus. Sans commentaire de Róbert Lovas, le chef de l'équipe d'IDGF-SP dont émane EDGeS@Home, nous devons supposer que le financement sur 24 mois de IDGF-SP s'est tari. Róbert Lovas a de nouvelles activités toujours liées au grilles de calcul. Il a sa page dans wikipedia et son profil à l'académie. Je lui ai demandé par mail des infos sur le sort de EDGeS@Home mais sans grande illusion.

 Il faut comprendre que EDGeS@Home n'était qu'une démonstration de faisabilité d'un middleware pour boinc, lequel est utilisé aussi par SZTAKI@Home, IDGF est essentiellement destiné à permettre l'interconnexion des grilles de PC des universités entre elles, boinc n'est qu'un petit maillon de l'histoire.
« Modifié: 17 January 2016 à 00:53 par Maurice Goulois »



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31108
  •   
Réponse #14 le: 17 January 2016 à 12:32
Dommage que petit maillon ne devienne pas grand :D

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne Maurice Goulois

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 4544
  •   
    • Le forum des Electrons Libres de l'AF
Réponse #15 le: 17 January 2016 à 19:43
Dommage que petit maillon ne devienne pas grand :D
C'est tout le temps une question de ressources financières ou humaines, EDGeS@Home faisait partie des "livrables" de l'équipe IDGF-SP comme démonstration en live, SZTAKI@Home intègre les mêmes technos et opère aussi comme passerelle IDGF-boinc. Les uts qui circulaient sur EDGeS@Home étaient des "trop pleins" de la plateforme IDGF et il en viendra à l'occasion par SZTAKI@Home. Personne n'a été désigné pour prendre le relais d'IDGF-SP, dont le financement est fini depuis presqu'un an, ils ont essayé de se financer en vendant des prestations (formation, communication, mise en place...) aux membres d'IDGF mais ça n'a pas du avoir un soutien suffisant, personne n'a été désigné pour maintenir EDGeS@Home (budget, ressources...) et il est mort dans l'oubli.

Mais la techno est là, il est tout à fait possible que le flambeau soit repris plus tard.
« Modifié: 17 January 2016 à 23:19 par Maurice Goulois »