Auteur Sujet: [TUTO] LHC - Atlas Native ( Linux seulement )  (Lu 1104 fois)

0 Membres et 1 Invité sur ce sujet

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Voici un petit tutoriel pour calculer des unités du projet Atlas Simulation du LHC .
Je me suis basé sur le sujet suivant : https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=4395
Pour l'instant, seul les systèmes Debian sont validés ( les dépôts Archlinux/AUR proposant une version trop récente ( 3.1.0-1 ) du paquetage singularity-container https://aur.archlinux.org/packages/singularity-container/ ).
Attention, pour éviter des problèmes avec Virtualbox, je l'ai complètement désinstallé .

On recommence avec le même tutoriel que pour le projet Theory native puis on rajoutera quelques lignes en cours de route.

Debian 9 Stretch

utiliser un terminal pour l'exécution des commandes ci-dessous ( en gras )

Vérification de l'installation des paquets autofs et squashfs-tools

dpkg -l | grep 'autofs'
dpkg -l | grep 'squashfs-tools'

si rien ne s'affiche

se mettre en superutilisateur ( root avec la commande su ) puis

apt install autofs
apt install squashfs-tools

Installation de CVMFS et de Singularity Container

su ( pour se mettre en superutilisateur root )

wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb
dpkg -i cvmfs-release-latest_all.deb
rm -f cvmfs-release-latest_all.deb
apt update
apt install cvmfs

ajout du dépôt backports de Debian pour l'installation du paquetage singularity-container
echo "deb http://deb.debian.org/debian stretch-backports main contrib non-free" >> /etc/apt/sources.list

apt update
apt -t stretch-backports install singularity-container

Paramétrages divers ( toujours en superutilisateur )

wget https://lhcathomedev.cern.ch/lhcathome-dev/download/default.local -O /etc/cvmfs/default.local
mkdir -p /etc/auto.master.d/
echo "/cvmfs /etc/auto.cvmfs" > /etc/auto.master.d/cvmfs.autofs
systemctl restart autofs
cvmfs_config probe ( tous doit être Ok )

wget http://atlasathome.cern.ch/boinc_conf/singularity.conf -O /etc/singularity/singularity.conf

echo "kernel.unprivileged_userns_clone = 1" >>  /etc/sysctl.conf
sysctl -p
gpasswd -a boinc cvmfs

Redémarrage du client BOINC

systemctl restart boinc-client

Je tiens à remercier David Cameron du projet Atlas de m'avoir aiguillé pour la résolution du problème de validation de mes unités auquel j'étais confronté ( https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5033 - Attention donc à celles et ceux qui ont paramétré des pare-feu sur leurs ordinateurs de crunch ) .
Un lien très utile en cas de problème avec les projets du LHC : http://lhcathome.web.cern.ch/faq/troubleshooting?page=1


Amusez-vous bien et bon crunch
« Modifié: 15 octobre 2019 à 19:44 par [AF>Libristes>Jip] Elgrande71 »
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

GuL

  • Messages: 2179
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #1 le: 18 mai 2019 à 10:52 »
Merci!
Mais je suis sous CentOS...

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #2 le: 18 mai 2019 à 12:09 »
Merci El Grande !

Quand on a réussi comme moi à mettre les prérequis pour Native Theory sur Debian, c'est quoi qu'il faut "simplement" ajouter pour tenter sa change avec cet version d'Atlas ?
Parce que c'était lui, parce que c'était moi.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #3 le: 18 mai 2019 à 12:26 »
Merci El Grande !

Quand on a réussi comme moi à mettre les prérequis pour Native Theory sur Debian, c'est quoi qu'il faut "simplement" ajouter pour tenter sa change avec cet version d'Atlas ?
Pour répondre à ta question Jerome, voici ce qu'il faut ajouter par rapport à Native Theory :

ajout du dépôt backports de Debian pour l'installation du paquetage singularity-container ( manipulation à effectuer en superutilisateur root )
echo "deb http://deb.debian.org/debian stretch-backports main contrib non-free" >> /etc/apt/sources.list
apt update

installation de singularity-container
apt -t stretch-backports install singularity-container

paramétrage de singularity-container pour le projet Atlas
wget http://atlasathome.cern.ch/boinc_conf/singularity.conf -O /etc/singularity/singularity.conf
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #4 le: 18 mai 2019 à 12:27 »
Merci!
Mais je suis sous CentOS...
C'est donc plus facile pour toi .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

GuL

  • Messages: 2179
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #5 le: 18 mai 2019 à 15:27 »
Merci!
Mais je suis sous CentOS...
C'est donc plus facile pour toi .
Ok, je regarderai à l'occasion, je ne suis pas devant le bon ordi.  :jap:

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #6 le: 18 mai 2019 à 16:19 »
Merci ElGrande j'ai fait tout ça et j'ai pas eu d'erreur, j'ai juste ajouté un "sudo apt upgrade" après ton "sudo apt update" puisque sinon il faisait rien (et là il a fait), c'était utile ?

Je me demande la différence entre "apt" et "apt-get" que j'utilise d'habitude.

J'ai ajouté "atlas" au préférences pour cette machine, visiblement ça ne différencie pas l'appli VM/VB de cette appli docker (un seul "atlas" dans la liste d'apps, contrairement à native theory qui est identifié comme tel), mais comme j'ai pas VB dans la VM linux je pense qu'il y aura de soucis, attendons qu'il ait fini de gober les six-track en cours et voir s'il en récupère.

C'est dingue comme la durée de calcul des six-track est variable d'ailleurs, de quelques secondes à 30000 secs ou plus...
Parce que c'était lui, parce que c'était moi.

RLDF

  • Messages: 4542
  • Boinc'eur devant l'éternel
  • *****
  •   
    • avatar ?
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #7 le: 20 mai 2019 à 11:46 »
sur ubuntu 18.04 LTS, a priori, pas besoin du backport pour singularity-container.
un apt install singularity-container suffit.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #8 le: 20 mai 2019 à 16:29 »
Merci pour cette information RLDF .
Si on utilise une version 18.04 d'Ubuntu, on aura la version 2.41 du paquetage singularity-container .
Reste à savoir si cette dernière suffira pour les calculs d'unités Atlas alors que sur le forum LHC, on parle des versions 2.6.x .
Concernant la branche 3.x de singularity-container, il semblerait qu'elle pose problème .
« Modifié: 20 mai 2019 à 16:56 par [AF>Libristes>Jip] Elgrande71 »
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #9 le: 21 mai 2019 à 14:19 »
Je me demande la différence entre "apt" et "apt-get" que j'utilise d'habitude.
En gros, apt est une version simplifée d'apt-get .
Tu trouveras plus d'informations utiles dans cet article .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

RLDF

  • Messages: 4542
  • Boinc'eur devant l'éternel
  • *****
  •   
    • avatar ?
Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #10 le: 21 mai 2019 à 21:55 »
Merci pour cette information RLDF .
Si on utilise une version 18.04 d'Ubuntu, on aura la version 2.41 du paquetage singularity-container .
Reste à savoir si cette dernière suffira pour les calculs d'unités Atlas alors que sur le forum LHC, on parle des versions 2.6.x .
Concernant la branche 3.x de singularity-container, il semblerait qu'elle pose problème .
J'ai justement fait le test pour theory native et atlas native, ça tourne nickel !

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #11 le: 21 mai 2019 à 22:41 »
Et comment t'as fait pour avoir des Atlas native ? il continue de ne récupérer des 6T ou des native theory malgré mon réglage de préférences...

Et sur le serveur status on ne voit même pas ces "atlas native"...

Snif.
Parce que c'était lui, parce que c'était moi.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #12 le: 23 mai 2019 à 18:12 »
En ce moment, je n'arrive pas à avoir des unités Atlas Simulation ( il n'y a pas d'unités appelées Atlas native ) .
Je ne récupère que des Theory native .
C'est dommage car les unités Atlas rapport plus que les Theory .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #13 le: 15 octobre 2019 à 19:38 »
La nouvelle application native du projet Atlas ( version 2.72 mt ) nécessite quelques modifications de la configuration de vos machines de calcul sinon les unités partent erreur de calcul après environ 10 minutes .
Il faut procéder à la désinstallation du paquetage singularity-container :
(en root ) apt purge singularity-container
Désinstallation des dépendances inutiles :
apt autoremove
(Ré)installation du paquetage squashfs-tools
apt install squashfs-tools

Je vais modifier le tutoriel dans le premier post afin de refléter les modifications que j'ai donné plus haut dans ce post .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #14 le: 16 octobre 2019 à 00:32 »
:jap:
Parce que c'était lui, parce que c'était moi.

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #15 le: 16 octobre 2019 à 21:59 »
Par rapport aux questions que j'avais posé plus haut : toujours pas de préférence "dédiée" à Atlas native ? il faut autoriser "atlas simulation" pour en avoir ? et comment mon boinc sait qu'il doit demander celles là et pas la version VB ?

Et dans la page d'état du serveur, aucune mention non plus à ce atlas native.
Parce que c'était lui, parce que c'était moi.

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #16 le: 17 octobre 2019 à 14:33 »
Bon j'ai fait les 3 manips que tu cites sur ma VM linux j'ai vérifié que y'avait que Atlas dans mes préf (j'ai fait un profil séparé pour cette machine), il en a chopé, elles tombent toutes en erreur au bout de 10 minutes :

https://lhcathome.cern.ch/lhcathome/result.php?resultid=248964601

Citer
<core_client_version>7.6.33</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)
</message>
<stderr_txt>
19:53:55 (6136): wrapper (7.7.26015): starting
19:53:55 (6136): wrapper: running run_atlas (--nthreads 2)
2019-10-16 19:53:55,400: singularity image is /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img
2019-10-16 19:53:55,400: sys.argv = ['run_atlas', '--nthreads', '2']
2019-10-16 19:53:55,401: THREADS=2
2019-10-16 19:53:55,403: Checking for CVMFS
2019-10-16 19:54:00,489: CVMFS is installed
2019-10-16 19:54:00,490: Checking Singularity...
2019-10-16 19:54:00,497: Singularity is installed, version 2.6.1-dist
2019-10-16 19:54:00,497: Testing the function of Singularity...
2019-10-16 19:54:00,497: Checking singularity with cmd:singularity exec -B /cvmfs /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img hostname
2019-10-16 19:54:00,529: Singularity isnt working: ERROR  : Unknown image format/type: /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img
ABORT  : Retval = 255

2019-10-16 19:54:02,531: running start_atlas return value is 3
2019-10-16 20:04:02,592: parent process exit 3
2019-10-16 20:04:02,595: child process exit 3
20:04:03 (6136): run_atlas exited; CPU time 0.180000
20:04:03 (6136): app exit status: 0x3
20:04:03 (6136): called boinc_finish(195)

</stderr_txt>
]]>

Il est con il met quand même 10 mn après le "Singularity isnt working" avant de planter......

Que faut-il faire ? j'ai raté une étape ? pourtant ça dit que c'est installé...
Parce que c'était lui, parce que c'était moi.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #17 le: 17 octobre 2019 à 14:45 »
Comme je l'ai signalé dans ce post https://forum.boinc-af.org/index.php/topic,8056.msg491643.html#msg491643 , il faut désinstaller complètement le paquetage singularity-container qui est présent sur ton système sinon la ligne suivante :
2019-10-16 19:54:00,497: Singularity is installed, version 2.6.1-dist
sera toujours présente et chaque nouvelle unité partira en erreur au bout de 10 minutes .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #18 le: 17 octobre 2019 à 14:52 »
J'ai fait exactement ce que tu as écrit plus haut :

(en root )
apt purge singularity-container
apt autoremove
apt install squashfs-tools

A chaque fois ça a mouliné, quand il me posait une question je répondais bêtement "yes"... ??

Si tu as besoin je peux te donner l'output de commandes que tu me passes (ici), j'arriv(ais) (depuis le bureau) à me connecter à la VM à travers le site OVH sur le navigateur (si ça marche pas --> tonight).
« Modifié: 17 octobre 2019 à 14:54 par JeromeC »
Parce que c'était lui, parce que c'était moi.

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #19 le: 19 octobre 2019 à 13:07 »
Ben celles qui marchaient pas c'étaient les 2.72
Citer
248964601    125084907    16 Oct 2019, 8:51:49 UTC    16 Oct 2019, 18:48:19 UTC    Erreur lors des calculs    609.98    0.04    ---    ATLAS Simulation v2.72 (native_mt)
x86_64-pc-linux-gnu
Et là ils viennent de sortir des 2.73, et elles tournent !
Citer
249138756    125167363    18 Oct 2019, 0:40:25 UTC    19 Oct 2019, 1:31:25 UTC    Terminé et validé    53,384.11    103,175.00    794.71    ATLAS Simulation v2.73 (native_mt)
x86_64-pc-linux-gnu
Donc j'avais tout bien fait :)

Merci !
Parce que c'était lui, parce que c'était moi.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #20 le: 20 octobre 2019 à 17:57 »
L'essentiel est que ça marche sans erreur .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #21 le: 20 octobre 2019 à 20:02 »
J'en ai une 2ème qui s'est terminée ce midi avec une durée similaire.

En revanche y'en a pas des masses car j'ai un réglage pour récupérer *que* Atlas sur la VM nanax, avec "prendre les autres si pas dispo" et j'en ai eu que 2, sinon il fait du sixtrack ou du native theory...
Parce que c'était lui, parce que c'était moi.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4819
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #22 le: 04 novembre 2019 à 16:13 »
Pardon pour la réponse tardive, personnellement, mon réglage de profil d'unité du projet LHC est de n'accepter que les unités Atlas, un point c'est tout .
Pour l'instant, je ne reçois donc que des unités Atlas et cela fonctionne plutôt bien .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
KDE neon

Jabber elgrande71@jit.si

JeromeC

  • CàA
  • Messages: 23305
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #23 le: 04 novembre 2019 à 17:29 »
Je comprends toujours pas comment boinc différencie les Atlas "normales VB" de "ces Atlas là", et pourquoi ils ont pas fait la même chose qu'avec "theory" et "native theory", vu que les deux applis ont a priori des prérequis très différents à chaque fois...
Parce que c'était lui, parce que c'était moi.