Sujet: [TUTO] LHC - Atlas Native ( Linux seulement )

[JeromeC]

Merci beaucoup pour l'info.

Donc la situation se... clarifie ??

Donc je récapépète, on a

- une appli "Theory Simulation"
- une appli "Theory Native"
- une appli "ATLAS simulation" mais avec un case "Native" cochée qui permet d'exécuter ATLAS Native
- une appli "ATLAS simulation" mais avec un case "Native" pas cochée qui permet d'exécuter ATLAS Simulation

[[AF>Libristes>Jip] Elgrande71]

Il est  vrai qu'il faut arriver à suivre .

[modesti]

Déterrage de topic

Ça faisait un moment que j'avais arrêté Atlas native, puis j'avais repris - les tâches plantaient toutes, donc arrêté de nouveau. Là je viens de reprendre et - outre les freeze du système (pas trop longs, ça va) - les tâches se terminent encore en erreur de calcul

Sauf que cette fois je suis allé voir pourquoi. En voilà une première (l'autre a le même texte avec d'autres heures et je vais annuler les dernières)

<core_client_version>7.14.2</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)</message>
<stderr_txt>
17:17:14 (57252): wrapper (7.7.26015): starting
17:17:14 (57252): wrapper: running run_atlas (--nthreads 6)
[2021-04-09 17:17:14] Arguments: --nthreads 6
[2021-04-09 17:17:14] Threads: 6
[2021-04-09 17:17:14] Checking for CVMFS
[2021-04-09 17:20:37] Probing /cvmfs/atlas.cern.ch... Failed!
[2021-04-09 17:26:14] Probing /cvmfs/atlas-condb.cern.ch... Failed!
[2021-04-09 17:30:45] Probing /cvmfs/grid.cern.ch... Failed!
[2021-04-09 17:33:53] Probing /cvmfs/cernvm-prod.cern.ch... Failed!
[2021-04-09 17:39:53] Probing /cvmfs/grid.cern.ch... Failed!
[2021-04-09 17:48:31] Probing /cvmfs/sft.cern.ch... Failed!
[2021-04-09 17:54:48] Probing /cvmfs/alice.cern.ch... Failed!
[2021-04-09 17:54:48] cvmfs_config probe failed, aborting the job
18:04:49 (57252): run_atlas exited; CPU time 262.322792
18:04:49 (57252): app exit status: 0x1
18:04:49 (57252): called boinc_finish(195)

</stderr_txt>
]]>

Visiblement j'ai oublié quelque chose Je suppose que c'est ce passage

su ( pour se mettre en superutilisateur root )

wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb
dpkg -i cvmfs-release-latest_all.deb
rm -f cvmfs-release-latest_all.deb
apt update
apt install cvmfs

que je vais devoir faire en sudo? Est-ce que ça fonctionne maintenant sous Arch/Manjaro?

[Maeda]

Pour Arch, je partirai sur ce package (tout fait) sur AUR.
Après les packages AUR, ce n'est pas toujours l'idéal, ça sort du lot des MAJ officielles, donc il faut revenir de temps en temps sur ce package pour mettre le plus récent.

Enfin ici, sûrement que Atlas plantera quand ce sera le cas (bon moyen de te prévenir ).

Pour installer un package AUR, je te renvoie à la doc.

Rien de bien compliqué.

[modesti]

Merci Maeda. Les packages AUR je connais (Skype + Dropbox ) et l'ordi en tient compte quand il propose les mises à jour

[modesti]

Bon, en fait cvmfs était installé, mais il manquait la version du CERN. Je viens de la construire, mais...

-- Looking for attr/xattr.h
-- Looking for attr/xattr.h - not found
CMake Error at CMakeLists.txt:284 (message):
  attr/xattr.h is missing on your system
Call Stack (most recent call first):
  CMakeLists.txt:292 (pedantic_include_check)
  CMakeLists.txt:317 (look_for_include_files)


-- Configuring incomplete, errors occurred!
See also "/var/tmp/pamac-build-monika/cvmfs-git/src/cvmfs/build/CMakeFiles/CMakeOutput.log".
See also "/var/tmp/pamac-build-monika/cvmfs-git/src/cvmfs/build/CMakeFiles/CMakeError.log".
==> ERREUR : Une erreur s’est produite dans build().
    Abandon…

Vais donc me mettre à la recherche de xattr.h 

[Maeda]

Il y a bien du (x)attr dans les dépôts. Par contre lequel...

[modesti]

Oui, j'en ai un, mais visiblement pas le bon. J'ai essayé d'installer python-xattr, mais ça s'est fini en erreur
Pour l'instant, j'ai décoché les Atlas. J'ai une énorme traduction à finir pour demain soir, lundi au plus tard. Donc ça devra attendre encore un peu. Mais je ne lâche rien

[franky82]

J'ai voulu reprendre les UT natives d'Atlas (normal et long) sur mon serveur dédié sous Ubuntu 18.04,
il y a 2 mois, ça fonctionnait sans problème,
mais là, toutes les tâches partent en erreur au bout de 10 mn !?

<core_client_version>7.14.2</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)</message>
<stderr_txt>
05:11:48 (15004): wrapper (7.7.26015): starting
05:11:48 (15004): wrapper: running run_atlas (--nthreads 4)
[2021-05-19 05:11:48] Arguments: --nthreads 4
[2021-05-19 05:11:48] Threads: 4
[2021-05-19 05:11:48] Checking for CVMFS
[2021-05-19 05:11:55] Probing /cvmfs/atlas.cern.ch... OK
[2021-05-19 05:11:56] Probing /cvmfs/atlas-condb.cern.ch... OK
[2021-05-19 05:11:56] Running cvmfs_config stat atlas.cern.ch
[2021-05-19 05:11:56] VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
[2021-05-19 05:11:56] 2.8.1.0 15230 0 24648 84873 3 1 2819379 4194305 0 130560 0 0 100.000 0 0 http://cvmfs-s1fnal.opensciencegrid.org:8000/cvmfs/atlas.cern.ch DIRECT 1
[2021-05-19 05:11:56] CVMFS is ok
[2021-05-19 05:11:56] Efficiency of ATLAS tasks can be improved by the following measure(s):
[2021-05-19 05:11:56] The CVMFS client on this computer should be configured to use Cloudflare's openhtc.io.
[2021-05-19 05:11:56] Small home clusters do not require a local http proxy but it is suggested if
[2021-05-19 05:11:56] more than 10 cores throughout the same LAN segment are regularly running ATLAS like tasks.
[2021-05-19 05:11:56] Further information can be found at the LHC@home message board.
[2021-05-19 05:11:56] Using singularity image /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img
[2021-05-19 05:11:56] Checking for singularity binary...
[2021-05-19 05:11:56] Singularity is not installed, using version from CVMFS
[2021-05-19 05:11:56] Checking singularity works with /cvmfs/atlas.cern.ch/repo/containers/sw/singularity/x86_64-el7/current/bin/singularity exec -B /cvmfs /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img hostname
[2021-05-19 05:12:05] INFO: Converting SIF file to temporary sandbox... Joes_serv1 INFO: Cleaning up image...
[2021-05-19 05:12:05] Singularity works
[2021-05-19 05:12:05] Set ATHENA_PROC_NUMBER=4
[2021-05-19 05:12:05] Starting ATLAS job with PandaID=5059704719
[2021-05-19 05:12:05] Running command: /cvmfs/atlas.cern.ch/repo/containers/sw/singularity/x86_64-el7/current/bin/singularity exec --pwd /var/lib/boinc-client/slots/1 -B /cvmfs,/var /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img sh start_atlas.sh
[2021-05-19 05:12:11] Job failed
[2021-05-19 05:12:11] INFO:    Converting SIF file to temporary sandbox...
[2021-05-19 05:12:11] INFO:    Cleaning up image...
[2021-05-19 05:12:11] FATAL:   container creation failed: hook function for tag prelayer returns error: failed to create /var/lib/alternatives directory: mkdir /var/lib/alternatives: permission denied
[2021-05-19 05:12:11] ./runtime_log.err
[2021-05-19 05:12:11] ./runtime_log
05:22:12 (15004): run_atlas exited; CPU time 17.212560
05:22:12 (15004): app exit status: 0x1
05:22:12 (15004): called boinc_finish(195)

</stderr_txt>
]]>

[JeromeC]

T'as des topics de ce genre sur leur forum, mais je sais pas si quelque chose a "encore changé"...

[franky82]

Merci !
Bon, j'ai testé et ça ne fonctionne toujours pas...

[lepingouin]

Un problème récent du 14 avril 2021 dû au changement de version 3.7.1 vers 3.7.2 pour Singularity.
Les tâches n'ont l'air de fonctionner que sous CentOS (source).
Je confirme, ça ne fonctionne ni sous Ubuntu, ni sous Debian 

[franky82]

Ah OK !
Je passe donc en version vb/mt (pas native) !

[Sébastien]

J'ai fait comme décrit dans ce message
Ça fonctionne sous Debian buster avec la version 3.7.3 de singularity.

[lepingouin]

J'ai fait comme décrit dans ce message
Ça fonctionne sous Debian buster avec la version 3.7.3 de singularity.

Sitôt dit, sitôt fait !
J'ai uniquement installé la version 1.16.4 pour go qui est la version en cours, également la version 3.7.3 de Singularity (git checkout v3.7.3) et j'ai conservé les paquets cvmfs et cvmfs-fuse3 de Debian Buster.

Il y a eu quelques messages d'erreur.
Pour les dépendances :

Code: [Sélectionner]

# github.com/golang/dep/gps
../../../../pkg/mod/github.com/golang/dep@v0.5.4/gps/constraint.go:103:21: cannot use sv (type *semver.Version) as type semver.Version in field value
../../../../pkg/mod/github.com/golang/dep@v0.5.4/gps/constraint.go:122:16: invalid type assertion: c.(semver.Version) (non-interface type *semver.Constraints on left)
../../../../pkg/mod/github.com/golang/dep@v0.5.4/gps/constraint.go:149:4: undefined: semver.ConstraintPour mconfig :

Code: [Sélectionner]

unable to find the cryptsetup program, is the package cryptsetup-bin installed?Cependant, ça n'a pas eu de conséquences pour la suite de l'installation.

Ça à l'air d’être bien parti (cf. images jointes) !
Merci pour la piqûre de rappel, c'est d'actualité ... 

[JeromeC]

Vi normalement c'est aussi une procédure équivalente (identique ?) qu'indicait le message que je citais plus haut.

[lepingouin]

Vi normalement c'est aussi une procédure équivalente (identique ?) qu'indicait le message que je citais plus haut.

Toutafé, c'est du même acabit.
On va voir d'ici ce soir si cette loooooooongue native ATLAS va produire un HIT ... ou pas.

[franky82]

Si ça plante pas aux alentours de 10-11 mn, c'est bon !

[lepingouin]

J'ai modifié dans le forum de LHC@Home la procédure précitée par JeromeC en privilégiant les paquets plutôt que les sources, solution que je préfère pour éviter de mettre le dawa dans les zinzins 
Testé et validé 

[JeromeC]