[WCG] World Community Grid (multi-projets)

[JeromeC]

Elle t'aura sûrement des prix ! drague, drague !!

[Nichan]

Attendons nous à des perturbations

Recu ce soir :

TEMPS D'ARRÊT IMMINENT : Migration complète de WCG vers le cloud Nibi alors que le cloud Graham est mis hors service le 31 août 2025

Nous prévoyons que tous les terminaux WCG seront hors service entre 15h et 17h le 31 août 2025, lors de la migration vers le cloud Nibi. En prévision de cette migration, nous arrêterons systématiquement la production.


Published on: 29 août 2025

-La migration complète de WCG des installations cloud de Graham vers Nibi sera achevée entre 15h00 et 17h00 le 31 août 2025.
-Sharcnet éteindra ensuite tout le matériel de Graham.
-Nous avons déposé un ticket auprès d'UHN Digital pour déplacer nos enregistrements DNS vers les nouvelles adresses IP qui nous ont été attribuées dans le cloud Nibi, et toutes les ressources de stockage, de réseau et de calcul sont déjà provisionnées chez Nibi.
-Nous continuons à tester l'assurance qualité et la production sur la nouvelle infrastructure.
-Nous subirons une interruption de service suite au changement des URL *.worldcommunitygrid.org. Nous allons arrêter successivement les scripts de création d'unités de travail, les composants du serveur BOINC et les serveurs de téléchargement/envoi, arrêter la base de données, effectuer une dernière synchronisation rsync, puis arrêter le site web, les forums et les services internes au cours des prochaines 48 heures.
-Dans le meilleur des cas, nos enregistrements DNS seront basculés le 31 et tout le système derrière l'équilibreur de charge sera opérationnel. Cependant, nous souhaitons préparer les utilisateurs à d'éventuelles interruptions de service supplémentaires pendant la mise en production de Nibi.

[zOU]

September 4, 2025
Migration did run into some unexpected issues. No WU/results/credits will be lost. We will descrebe more, once we have some more time after the system is back on and running.
Before we took the final backup of the BOINC database (Aug 31), all results had their deadlines extended by 96h, we expect to bring the BOINC database online today (Sep 4, 2025), and extend as needed until the system is operational
Currently, WCG tech team is standing up DB2, IBM MQ, Websphere, and adpating Apache configuration.
BOINC server components are expected to take less time to configure for operation at Nibi. We will stand up the upload/download server group ASAP so users can begin to upload results they have been holding on to during the migration, which will be credited.

[JeromeC]

C'est la faute à Nichan, il a écrit sur l'autre topic j'ai traduit là bas 

[zOU]

September 9, 2025
We are finalizing IBM MQ <-> DB2 <-> BOINC db <-> website axis, which will allow us to bring up the website. If all goes to plan now - we should have the website up tonight.
Once that is solved - we will go through the BOINC stack to ensure nothing catastrophic will happen when once we let traffic through to the scheduler, upload/download servers. Then we can finally start letting the BOINC daemons manipulate state in the BOINC db.

[Fabrice.ltn]

Salut,
Depuis cette migration, je n'ai pas pu récupérer des taches ou transmettre des résultats.
J'ai dû passer à côté de quelque chose.
Merci à vous. <3

[JeromeC]

C'est plutôt eux qui sont passés à côté de quelque chose

[Antares]

A coté de la plaque...

[Fabrice.ltn]

          

[Nichan]

Ils esperaient pour demain que ca refonctionne, bon evidemment hein voila quoi. Laissez le pauvre stagiaire bosser tout seul

[toTOW]

Passez donc sur un projet un peu plus sérieux ...

[JeromeC]

2 octobre 2025
L'hébergement a résolu le problème avec nos partages NFS dans Openstack ; le planificateur et le chemin de téléchargement semblent fonctionner ; nous déboguons actuellement le nouveau pool de travailleurs FCGI conteneurisé file_upload_handler et l'intégration de file_upload_handler avec Kafka via la bibliothèque librdkafka.

Nous allons supprimer les restrictions ACL qui provoquent l'erreur 403 forbidden lorsque les utilisateurs essaient de contacter le planificateur ou de télécharger des fichiers.

Nous sommes toujours en train de valider le chemin de téléchargement de bout en bout avec nos clients BOINC locaux. Une fois que nous l'aurons confirmé, nous ouvrirons le trafic vers les serveurs de téléchargement, commencerons à servir les téléchargements qui étaient disponibles lors de l'arrêt et pourrons réactiver les démons BOINC.

3 octobre 2025
Nous sommes conscients du problème lié au planificateur qui renvoie le message « Une autre instance du planificateur est en cours d'exécution pour cet hôte » et avons identifié la cause dans le modèle config.xml que nous avons adapté pour le nouvel environnement conteneurisé. Nous corrigerons ce problème dès que nous aurons confirmé que les nouveaux pipelines de validation et d'assimilation pilotés par les événements fonctionnent correctement.

Les téléchargements sont traités normalement. Nous avons confirmé que la nouvelle architecture du pool file_upload_handler conteneurisé derrière Apache produit correctement les sujets Kafka (Redpanda) par application, en stockant les données d'événement et de résultat dans des files d'attente distinctes sur la partition des courtiers locaux.

En conséquence, il y aura au moins un sprint supplémentaire pendant le week-end. À titre provisoire, nous prévoyons de produire de nouvelles unités de travail la semaine prochaine pour MCM1, ARP1 et MAM1 version bêta 7.07. Les validations devraient reprendre pendant le week-end, les premières versions des lots seront intermittentes.

C'est beau la technique hein

[modesti]

Apache produit correctement les sujets Kafka

C'est kafkaïen

[[CSF] Christian Carquillat]

Il n'y a plus le bug "another instance is running machin mékouï" mais les WU se font attendre

[JeromeC]

Bah on est plus à quelques éons près...

[JeromeC]

7 octobre 2025
Nous avons résolu le problème lié à la configuration du planificateur BOINC qui provoquait l'erreur « Une autre instance du planificateur est en cours d'exécution pour cet hôte ». Les utilisateurs devraient désormais pouvoir signaler des tâches. Nous vous tiendrons informés dès que nous commencerons à créer de nouvelles unités de travail, car nous travaillons toujours à la mise en place du reste de l'architecture backend BOINC.

Le site web a été brièvement indisponible lorsque nous avons mis le planificateur en ligne. Nous avons ajusté la configuration HAProxy et nous continuerons à ajuster la configuration Apache/HAProxy si nous constatons que le site web cesse à nouveau de répondre.

Nous continuons à déboguer les problèmes liés au nouveau workflow de validation basé sur Kafka qui fonctionne avec les règles de routage HAProxy pour partitionner les téléchargements et les chargements BOINC en attribuant aux serveurs des compartiments hexadécimaux égaux à l'aide de l'https://github.com/BOINC/boinc/wiki/DirHierarchye attendue par BOINC, et en émettant des événements à partir du nouveau file_upload_handler que nous avons écrit pour Kafka afin de pouvoir les regrouper et y répondre en parallèle. Cela élimine le besoin de multiples allers-retours vers la base de données pour les opérations ligne par ligne et le sondage, qui sont désormais simplement des applications par lots de l'état après avoir consommé les unités de travail prêtes à être validées dans le sujet Kafka pertinent pour cette application.

Cela nous permet d'effectuer la validation et l'assimilation dans le même processus, du moins pour les projets que nous menons nous-mêmes (MCM1, MAM1, ARP1). Bien que la courbe d'apprentissage de Kafka/Redpanda ait été importante, nous avons réussi à passer à une architecture partitionnée en mémoire pilotée par les événements qui devrait nous permettre de suivre le rythme de la prochaine application MAM1 compatible avec les GPU.

On pourra pas dire qu'on est pas informés

[Kao]

On ressent quand même l'absence de IBM...

[toTOW]

J'ai l'impression qu'on a conservé la tradition des mauvais choix ...

[JeromeC]

13 octobre 2025
Joyeux Thanksgiving à nos bénévoles et partenaires canadiens.
Les travaux visant à terminer la configuration du déploiement reprendront demain.

[JeromeC]

15 octobre 2025

• Nous testons actuellement les validateurs, qui ont fait l'objet de nombreuses itérations.
• Dès que le validateur fonctionnera, nous le déploierons sur les six partitions et effacerons le retard accumulé. Nous pourrons alors vérifier l'interaction du transitionneur. Si tout se passe bien, nous pourrons enfin commencer à envoyer de nouveaux travaux.
• Nous allons finaliser le stockage des objets pour les archives, en remplacement de la sauvegarde sur bande utilisée précédemment.

Bon faut avouer que maintenant ils donnent régulièrement des nouvelles. Ils ne donnent pas de taff, mais ils donnent des nouvelles

[modesti]

en remplacement de la sauvegarde sur bande utilisée précédemment

Ça me fait penser aux Japonais qui n'ont abandonné la disquette 2.5" qu'en début de cette année.
  

[JeromeC]

3.5" Madame, 3.5"



Moi j'ai utilisé les 5.25" (le premier Amstrad PC 512 de mon beau-père avec un seul et unique lecteur 5.25 pour l'OS, les programmes, les données... tu passais ta journée à changer de disquette on est vite passé à deux lecteurs, quel confort, et quand je lui ai trouvé la première carte interne disque dur de 20 Mo, il a failli faire une syncope ) et j'ai même vu et un peu utilisé des 8" dans le bureau de ma mère (qui faisait la compta dans un collège) à la fin des 70's.

Cet article est sympa, il ne parle pas de l'arrêt de la 3.5" mais il dit que l'armée américaine a arrêté d'utiliser les 8" en 2019 ! 

En revanche il oublie un peu vite que les Amstrad CPC et Commodore 64 du début des 80's (grand public) tournaient avec un lecteur de K7 audio (standard) !



J'en avais un (C64 et son lecteur), quel pied

Quant aux backups sur bande ils sont loin d'être morts !

[PhilTheNet]

Et moi un Oric Atmos !!!

[JeromeC]

Le club des papis

[PhilTheNet]