Sujet: Recherche de Serveur BOINC passerelle

[Meyanef]

Bonjour à tous,

Je suis stéphane alias Meyanef.
Je viens juste d'arriver sur votre forum car j'ai besoin de votre aide et de votre expertise.

Je souhaites implémenter une solution BOINC au sein de mon entreprise et de rejoindre la grille WCG pour calculer pour les recherches scientifiques.

Actuellement le client windows fonctionne très bien sur ma station de test et ceux sans toucher à la sécurité ni aux ouvertures de flux.
Mais j'ai besoin de plus de sécurité pour imposer cela dans mon entreprise : un serveur passerelle qui va regrouper l'ensemble des calculs pour upload
et fournir les jobs a 600 stations (a terme) qui vont le solliciter.

Les sources suivantes me permettent de réaliser cela ?
http://boinc.berkeley.edu/trac/wiki/ServerIntro
https://wiki.debian.org/BOINC/ServerGuide
https://wiki.debian.org/BOINC/ServerGuide/Initialisation

ou l'ensemble ne fonctionne que pour créer un projet BOINC de toute piéce sans pouvoir rejoindre la grille WCG et
faire simplement office de passerelle ?

c'est une autre solution qu'il faut utiliser ?

désolé si la question à déjà été posée.

merci d'avance pour votre aide de passionnée

A très bientôt

Meyanef : stéphane

[Prof]

Salut Meyanef et bienvenue chez nous!!

Peut-être ces liens pourront t'aider:

http://forum.boinc-af.org/index.php/topic,4980.0.html

http://forum.boinc-af.org/index.php/topic,4117.0.html

http://forum.boinc-af.org/index.php/topic,3199.0.html

Voilà, je n'ai pas parcouru le contenu mais les titres me semblaient évocateurs!

 

[kipoos]

pour la 40aine postes windows que constitue ma ferme au travail (en repos en ce moment), je fonctionne à partir d'image système qui se déploie depuis notre serveur sur lesquelles boinc est installé en mode service.

afin de passer le proxy, j'ai créé un utilisateur réseau spécial qui ne peut accéder sur internet qu'aux sites des projets boinc et du gestionnaire de sites de seb (le transit s'effectuant en http), sans aucun pouvoir, ni espace disque.
puis j'ai créé un fichier de conf cc_config.xml avec tous les paramètres de connexion (adresse du proxy, login et mot de passe en clair, d'où l’utilisateur spécial), et, les  acct_mgr_url.xml et acct_mgr_login.xml (le plus simple pour eux étant de les récupérer sur une machine déjà configurée, en élégant un peu de mémoire).

j'ai aussi déployé par OCS inventory en créant le paquet qui va bien (installation de boinc en mode service et copie des fichiers de conf) sur quelques machines ne fonctionnant pas sur images système.

[JeromeC]

Salut à toi

Tu auras certainement des réponses très intéressantes ici mais peut-être faudra-t-il patienter car c'est les vacances et certains de nos gros fermiers ne sont pas là en ce moment

En revanche tu n'as pas besoin de "serveur boinc", tu veux juste faciliter la configuration et le déploiement de clients Boinc sur des postes de travail, c'est plus simple ! (la question proxy / autre est juste une problématique de configuration de la connexion des clients, mais ça reste des clients)

Un gestionnaire de compte Boinc tel que BAM ou SAM sera certainement utile pour celui qui devra suivre le parc, mais si l'objectif est de toujours rattacher les clients à WCG et rien d'autre sans se poser de question ça ne sera probablement pas indispensable.

A bientôt chez les fous du crunch

[zOU]

Il me semblait qu'un serveur ayant pour fonction de stocker les UT, envoyer les UT aux clients et récupérer + envoyer les UT finies n'existait pas.

L'architecture boinc est:
Serveurs du projet -> client de stockage /calcul

Tu veux:
Serveurs du projet -> serveur de stockage/distribution/renvoi -> client client calcul.

Correct ?

[JeromeC]

Ah ben ça, ça n'existe pas.

Sauf si quelqu'un l'a fait en lousdé, mais à la base Boinc est conçu pour des particuliers, pas pour des entreprises / gros fermiers, je pense que tous les gestionnaires de parc se sont fait leurs propres outils ou ont adapté des outils pro existant.

[Maurice Goulois]

Oui, faudrait qu'un dev ou une équipe développe ça. Je crois pas que ça soit très difficile mais faut avoir le temps à consacrer à ça (dev + test/debug).
J'avoue que c'est une fonctionnalité qui me plairait.

[Meyanef]

Bonjour,
Quelques jours d'absences et je suis de retour.
Merci beaucoup pour l'ensemble de vos réponses, je ne suis plus seul dans l'univers

Merci kipoos : tu proposes une solution de secours très intéressante.
Juste une question : je souhaiterai rejoindre la WCG et l'équipe décrypthon mais chaque station peut utiliser le même compte ?

Merci JeromeC :
même question, chaque station peut utiliser le même compte sur la grille WCG ? sinon utilisation de BAM ou SAM ?

Merci zOU :
oui c'est bien cela, mon besoin est bien :
Serveurs du projet -> serveur de stockage/distribution/renvoi -> client client calcul.
ainsi un seul serveur "sort" sur le net, un seul compte pour l'entreprise, le parc station peut "vivre" indépendamment avec réinstallation,
changement de matériel, test sur smartphone ou tablettes.

Merci Maugou :
Si nécessaire je peux négocier un budget avec mon directeur mais l'objectif était de montrer que ce projet "innovation" était simple, déjà existant
histoire de changer un peu la mentalité facilement d'un groupe bancaire français ......(je reste un utopiste)
et passer les différentes instances de sécurité reste un exercice vraiment compliqué.

Merci Prof :
je vais étudier tous les liens.

merci pour votre aide, injecter un peu d'humain dans un monde de brute est ma nouvelle quête.

A bientôt

[Maurice Goulois]

Il y a un projet de Superhost en souffrance, qui pourrait être remis au goût du jour, à suivre 

[tibidao]

Merci kipoos : tu proposes une solution de secours très intéressante.
Juste une question : je souhaiterai rejoindre la WCG et l'équipe décrypthon mais chaque station peut utiliser le même compte ?

Bonjour,

N'ayant aucune compétence technique, je ne t'aiderai pas trop question réseau. Par contre, je sais que tu peux n'utiliser un seul compte pour toutes tes stations... 

Sinon, tu n'es pas intéressé pour rejoindre L'Alliance Francophone ? Manifestement, tu as estimé qu'on pouvait peut être répondre à tes questions, on est aussi une équipe, avec une communauté importante (à l'échelle de boinc). 
je sais que decrypthon est spécialisé sur WCG, mais si tu veux tu peux ne faire QUE du WCG ici aussi. L'Alliance Francophone est plus généraliste, mais on n'oblige personne à quoi que ce soit. 
Après (et j'arrête mon monologue), le côté grosse équipe peut rebuter, mais on a conçu le principe de miniteam pour ça, avec plusieurs forums plus "intimistes" en dehors de celui ci. 

[JeromeC]

Decrypton a peut-être un form plein de bons conseils comme le notre

Et WCG regorge de très grosses équipes qui ne font que du WGC ils ont peut-être des outils spécifiques pour de la gestion de parc, et ils ont un gros forum, tu devrais y jeter un oeil.

[Meyanef]

Rebonjour,

Merci JeromeC je vais regarder cela mais il y aussi des gens très bien ici

Cordialement

a bientôt

[JeromeC]

Certes certes mais ils vont peut-être être déçus que tu viennes chercher de l'info ici pour aller aider une autre équipe... ce qui fait que nous sommes une équipe c'est pas juste parce que certains (un petit nombre) d'entre nous viennent sur le forum et que nous aidons les membres et les non membres, c'est surtout parce que nous crunchons sous la même bannière...

[zOU]

ainsi un seul serveur "sort" sur le net, un seul compte pour l'entreprise, le parc station peut "vivre" indépendamment avec réinstallation,
changement de matériel, test sur smartphone ou tablettes.

Avec le modèle actuel de boinc

Toutes les machines peuvent utiliser le même compte
Tu peux gérer l'activite avec BAM/SAM
En cas de reinstall tu perds juste les UT en cours et en stock,mais ça c'est gerable avec un cache faible
Avec boinctasks tu peux centraliser la surveillance

C'est assez simple en fait

[JeromeC]

Il veut juste faire du WCG, il a rien besoin de gérer en fait, il a juste besoin d'un truc pour déployer les postes avec un boinc précablé sur un projet/compte et il veut simplifier l'impact réseau dans sa boite, d'où le besoin de proxy d'UTs (qui n'existe pas).

Sauf s'il veut pouvoir démarrer / arrêter / moduler, et il faut un BAM ou un SAM (plutôt je dirais, à moins que BAM sache aussi gérer des groupes de machines ?) dans sa config par défaut connecté avec le même compte, mais déjà je suis pas sûr qu'il veuille aller si loin.

BoincTasks c'est encore l'étape d'après, c'est si tu veux faire de la gestion temps réel du parc, mais ça devient un boulot à plein temps...

[Meyanef]

Bonjour,
Merci zOU et JeromeC.


Toutes les machines peuvent utiliser le même compte -> génial je vais tester.
Tu peux gérer l'activite avec BAM/SAM -> je vais regarder cela, besoin d'info je vais chercher.
En cas de reinstall tu perds juste les UT en cours et en stock,mais ça c'est gerable avec un cache faible
Avec boinctasks tu peux centraliser la surveillance -> C'est noté.

JeromeC, vraiment désolé, en effet je viens chercher des infos pour en aider d'autre
mais c'était sans calcul, juste la volonté de trouver une solution à mon problème.

merci encore
désolé
a bientôt

[JeromeC]

T'inquiète, t'as pas à être désolé de rien du tout, j'essayais juste de faire un peu de recrutement

[al@ON]

Quand dans L'AF on entend parler de le ferme des 600 vaches PC, bin de suite on bave d'envie... 

[JeromeC]

... tel l'escargot devant la feuille de laitue fraiche...

[Sébastien]

Quel est ton besoin réel?
S'il s'agit de développer un module intermédiaire qui recevrait les requêtes des 600 clients BOINC, puis les transmettrait aux projets, c'est faisable. Par contre, développer un module qui stockerait des UT prêtes à démarrer me parait beaucoup plus complexe.

[PhilTheNet]

L'inverse de ce que je suis en train de développer quoi.
(mais cela peut se faire dans l'autre sens)

 

[Meyanef]

Bonjour Sébastien,

Une solution très simple à été indiquée :
Compte BOINC unique, Compte Proxy limité a 2 url, client BOINC packagé pour la matrice de l'entreprise.
Piloter l’activité avec BAM\SAM (je ne connais pas) ou BOINCtask. Calcul au lancement de l'écran de veille
donc surtout une ferme de calcul entre 12h00 et 14h00.
Donc je suis entrain de vendre cela a la cellule sécurité du groupe pour voir si cela passe.

Mais mon objectif premier était de trouver un serveur passerelle qui en effet, recevrait les requêtes des
600 clients BOINC, puis les transmettrait aux projet. puis upload des résultats vers ce serveur puis transfert vers la grille.
mais cela semble compliqué. A priori le projet decrypthon du téléthon fonctionne comme cela, mais il y a eu des développements
spécifique je pense. solution qui semble plus sécurisé car un seul point reçoit et sort  sur le net, ce qui est plus facile a sécuriser.

merci en tout cas pour tout vos conseils.

un peu de vacances et je reviens le 1er septembre.

bon courage à tous.

[zOU]

upload des résultats vers ce serveur puis transfert vers la grille: un proxy dédié et configuré dans boinc ferait plus ou moins ça

[Maurice Goulois]

upload des résultats vers ce serveur puis transfert vers la grille: un proxy dédié et configuré dans boinc ferait plus ou moins ça

oui, ça devrait suffire à la plupart des situations :

réseau interne (PCs)<--> proxy dédié ou règles sur proxy existant <--> projets BOINC (Internet)

ton support peut limiter la bande passante, les plages horaires, les serveurs de projets par leur adresse (pour éviter un pseudo projet boinc pirate)... ils ont la main sur la sécurité

Qu'est-ce qui gênerait ton support réseau dans ce cas de figure? Ça me semble la plus simple de toutes les solutions mais on ne connait pas toutes les contraintes du réseau

[[AF>Libristes>Jip]Augure]

 

des nouvelles, as tu réussis ce que tu voulais ?

(ton retour sur les essais peu aussi être intéressant pour des futurs usagers !)