Auteur Sujet: [TUTO] LHC - Atlas Native ( Linux seulement )  (Lu 2652 fois)

0 Membres et 1 Invité sur ce sujet

JeromeC

  • CàA
  • Messages: 26673
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #25 le: 02 décembre 2019 à 22:41 »
Merci beaucoup pour l'info.

Donc la situation se... clarifie ??

Donc je récapépète, on a

- une appli "Theory Simulation"
- une appli "Theory Native"
- une appli "ATLAS simulation" mais avec un case "Native" cochée qui permet d'exécuter ATLAS Native
- une appli "ATLAS simulation" mais avec un case "Native" pas cochée qui permet d'exécuter ATLAS Simulation

:idtalacon: :help: :bhs: :cavapabiendantateute:
Parce que c'était lui, parce que c'était moi.

[AF>Libristes>Jip] Elgrande71

  • Gentil admin
  • Messages: 4972
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #26 le: 24 décembre 2019 à 16:29 »
Il est  vrai qu'il faut arriver à suivre .
Debian - Distribution GNU/Linux de référence
Parabola GNU/Linux - Distribution GNU/Linux Libre
MX Linux
Emmabuntüs

Jabber elgrande71@jabber.lqdn.fr

modesti

  • CàA
  • Messages: 17669
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #27 le: 09 avril 2021 à 19:07 »
Déterrage de topic

Ça faisait un moment que j'avais arrêté Atlas native, puis j'avais repris - les tâches plantaient toutes, donc arrêté de nouveau. Là je viens de reprendre et - outre les freeze du système (pas trop longs, ça va) - les tâches se terminent encore en erreur de calcul :(

Sauf que cette fois je suis allé voir pourquoi. En voilà une première (l'autre a le même texte avec d'autres heures et je vais annuler les dernières)
Citer
<core_client_version>7.14.2</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)</message>
<stderr_txt>
17:17:14 (57252): wrapper (7.7.26015): starting
17:17:14 (57252): wrapper: running run_atlas (--nthreads 6)
[2021-04-09 17:17:14] Arguments: --nthreads 6
[2021-04-09 17:17:14] Threads: 6
[2021-04-09 17:17:14] Checking for CVMFS
[2021-04-09 17:20:37] Probing /cvmfs/atlas.cern.ch... Failed!
[2021-04-09 17:26:14] Probing /cvmfs/atlas-condb.cern.ch... Failed!
[2021-04-09 17:30:45] Probing /cvmfs/grid.cern.ch... Failed!
[2021-04-09 17:33:53] Probing /cvmfs/cernvm-prod.cern.ch... Failed!
[2021-04-09 17:39:53] Probing /cvmfs/grid.cern.ch... Failed!
[2021-04-09 17:48:31] Probing /cvmfs/sft.cern.ch... Failed!
[2021-04-09 17:54:48] Probing /cvmfs/alice.cern.ch... Failed!
[2021-04-09 17:54:48] cvmfs_config probe failed, aborting the job
18:04:49 (57252): run_atlas exited; CPU time 262.322792
18:04:49 (57252): app exit status: 0x1
18:04:49 (57252): called boinc_finish(195)

</stderr_txt>
]]>

Visiblement j'ai oublié quelque chose :desole: Je suppose que c'est ce passage
Citer
su ( pour se mettre en superutilisateur root )

wget https://ecsft.cern.ch/dist/cvmfs/cvmfs-release/cvmfs-release-latest_all.deb
dpkg -i cvmfs-release-latest_all.deb
rm -f cvmfs-release-latest_all.deb
apt update
apt install cvmfs
que je vais devoir faire en sudo? Est-ce que ça fonctionne maintenant sous Arch/Manjaro?

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

Maeda

  • Messages: 1476
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #28 le: 09 avril 2021 à 21:41 »
Pour Arch, je partirai sur ce package (tout fait) sur AUR.
Après les packages AUR, ce n'est pas toujours l'idéal, ça sort du lot des MAJ officielles, donc il faut revenir de temps en temps sur ce package pour mettre le plus récent.

Enfin ici, sûrement que Atlas plantera quand ce sera le cas (bon moyen de te prévenir :siflotte:).

Pour installer un package AUR, je te renvoie à la doc.

Rien de bien compliqué.
Sous Linux ? => ⛏ Script pour suspendre / reprendre les UT | ☺Que faire avant un RAID/Pentathlon ? Passer l'aspirateur dans ses machines !

Folding@Home

modesti

  • CàA
  • Messages: 17669
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #29 le: 09 avril 2021 à 22:10 »
Merci Maeda. Les packages AUR je connais (Skype + Dropbox ;) ) et l'ordi en tient compte quand il propose les mises à jour :)

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

modesti

  • CàA
  • Messages: 17669
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #30 le: 10 avril 2021 à 08:58 »
Bon, en fait cvmfs était installé, mais il manquait la version du CERN. Je viens de la construire, mais...
Citer
-- Looking for attr/xattr.h
-- Looking for attr/xattr.h - not found
CMake Error at CMakeLists.txt:284 (message):
  attr/xattr.h is missing on your system
Call Stack (most recent call first):
  CMakeLists.txt:292 (pedantic_include_check)
  CMakeLists.txt:317 (look_for_include_files)


-- Configuring incomplete, errors occurred!
See also "/var/tmp/pamac-build-monika/cvmfs-git/src/cvmfs/build/CMakeFiles/CMakeOutput.log".
See also "/var/tmp/pamac-build-monika/cvmfs-git/src/cvmfs/build/CMakeFiles/CMakeError.log".
==> ERREUR : Une erreur s’est produite dans build().
    Abandon…
Vais donc me mettre à la recherche de xattr.h  :suri:

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

Maeda

  • Messages: 1476
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #31 le: 10 avril 2021 à 22:09 »
Il y a bien du (x)attr dans les dépôts. Par contre lequel...
Sous Linux ? => ⛏ Script pour suspendre / reprendre les UT | ☺Que faire avant un RAID/Pentathlon ? Passer l'aspirateur dans ses machines !

Folding@Home

modesti

  • CàA
  • Messages: 17669
  • Boinc'eur devant l'éternel
  • *****
  •   
    • Brocantes en Bourbonnais
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #32 le: 10 avril 2021 à 22:34 »
Oui, j'en ai un, mais visiblement pas le bon. J'ai essayé d'installer python-xattr, mais ça s'est fini en erreur :spamafote:
Pour l'instant, j'ai décoché les Atlas. J'ai une énorme traduction à finir pour demain soir, lundi au plus tard. Donc ça devra attendre encore un peu. Mais je ne lâche rien :gniak:

Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip

franky82

  • DROITS - Journalistes
  • Messages: 1738
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #33 le: 19 mai 2021 à 13:29 »
J'ai voulu reprendre les UT natives d'Atlas (normal et long) sur mon serveur dédié sous Ubuntu 18.04,
il y a 2 mois, ça fonctionnait sans problème,
mais là, toutes les tâches partent en erreur au bout de 10 mn !?
Citer
<core_client_version>7.14.2</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)</message>
<stderr_txt>
05:11:48 (15004): wrapper (7.7.26015): starting
05:11:48 (15004): wrapper: running run_atlas (--nthreads 4)
[2021-05-19 05:11:48] Arguments: --nthreads 4
[2021-05-19 05:11:48] Threads: 4
[2021-05-19 05:11:48] Checking for CVMFS
[2021-05-19 05:11:55] Probing /cvmfs/atlas.cern.ch... OK
[2021-05-19 05:11:56] Probing /cvmfs/atlas-condb.cern.ch... OK
[2021-05-19 05:11:56] Running cvmfs_config stat atlas.cern.ch
[2021-05-19 05:11:56] VERSION PID UPTIME(M) MEM(K) REVISION EXPIRES(M) NOCATALOGS CACHEUSE(K) CACHEMAX(K) NOFDUSE NOFDMAX NOIOERR NOOPEN HITRATE(%) RX(K) SPEED(K/S) HOST PROXY ONLINE
[2021-05-19 05:11:56] 2.8.1.0 15230 0 24648 84873 3 1 2819379 4194305 0 130560 0 0 100.000 0 0 http://cvmfs-s1fnal.opensciencegrid.org:8000/cvmfs/atlas.cern.ch DIRECT 1
[2021-05-19 05:11:56] CVMFS is ok
[2021-05-19 05:11:56] Efficiency of ATLAS tasks can be improved by the following measure(s):
[2021-05-19 05:11:56] The CVMFS client on this computer should be configured to use Cloudflare's openhtc.io.
[2021-05-19 05:11:56] Small home clusters do not require a local http proxy but it is suggested if
[2021-05-19 05:11:56] more than 10 cores throughout the same LAN segment are regularly running ATLAS like tasks.
[2021-05-19 05:11:56] Further information can be found at the LHC@home message board.
[2021-05-19 05:11:56] Using singularity image /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img
[2021-05-19 05:11:56] Checking for singularity binary...
[2021-05-19 05:11:56] Singularity is not installed, using version from CVMFS
[2021-05-19 05:11:56] Checking singularity works with /cvmfs/atlas.cern.ch/repo/containers/sw/singularity/x86_64-el7/current/bin/singularity exec -B /cvmfs /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img hostname
[2021-05-19 05:12:05] INFO: Converting SIF file to temporary sandbox... Joes_serv1 INFO: Cleaning up image...
[2021-05-19 05:12:05] Singularity works
[2021-05-19 05:12:05] Set ATHENA_PROC_NUMBER=4
[2021-05-19 05:12:05] Starting ATLAS job with PandaID=5059704719
[2021-05-19 05:12:05] Running command: /cvmfs/atlas.cern.ch/repo/containers/sw/singularity/x86_64-el7/current/bin/singularity exec --pwd /var/lib/boinc-client/slots/1 -B /cvmfs,/var /cvmfs/atlas.cern.ch/repo/containers/images/singularity/x86_64-centos7.img sh start_atlas.sh
[2021-05-19 05:12:11] Job failed
[2021-05-19 05:12:11] INFO:    Converting SIF file to temporary sandbox...
[2021-05-19 05:12:11] INFO:    Cleaning up image...
[2021-05-19 05:12:11] FATAL:   container creation failed: hook function for tag prelayer returns error: failed to create /var/lib/alternatives directory: mkdir /var/lib/alternatives: permission denied
[2021-05-19 05:12:11] ./runtime_log.err
[2021-05-19 05:12:11] ./runtime_log
05:22:12 (15004): run_atlas exited; CPU time 17.212560
05:22:12 (15004): app exit status: 0x1
05:22:12 (15004): called boinc_finish(195)

</stderr_txt>
]]>
Mon site : Photo de bière
 

JeromeC

  • CàA
  • Messages: 26673
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #34 le: 19 mai 2021 à 20:06 »
T'as des topics de ce genre sur leur forum, mais je sais pas si quelque chose a "encore changé"...
Parce que c'était lui, parce que c'était moi.

franky82

  • DROITS - Journalistes
  • Messages: 1738
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #35 le: 19 mai 2021 à 20:48 »
Merci !
Bon, j'ai testé et ça ne fonctionne toujours pas...
Mon site : Photo de bière
 

lepingouin

  • Messages: 24
  • P'tit Nouveau
  • *
  •   
    • Ma météo
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #36 le: 19 mai 2021 à 21:00 »
Un problème récent du 14 avril 2021 dû au changement de version 3.7.1 vers 3.7.2 pour Singularity.
Les tâches n'ont l'air de fonctionner que sous CentOS (source).
Je confirme, ça ne fonctionne ni sous Ubuntu, ni sous Debian  :cry:
Mon site : Météo amateur

“Rien n'est jamais perdu tant qu'il reste quelque chose à trouver.” Pierre Dac

franky82

  • DROITS - Journalistes
  • Messages: 1738
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #37 le: 19 mai 2021 à 21:13 »
Ah OK !
Je passe donc en version vb/mt (pas native) !
Mon site : Photo de bière
 

Sébastien

  • Gentil admin
  • Messages: 2247
  • Boinc'eur devant l'éternel
  • *******
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #38 le: 19 mai 2021 à 22:08 »
J'ai fait comme décrit dans ce message
Ça fonctionne sous Debian buster avec la version 3.7.3 de singularity.

lepingouin

  • Messages: 24
  • P'tit Nouveau
  • *
  •   
    • Ma météo
Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #39 le: 20 mai 2021 à 00:10 »
J'ai fait comme décrit dans ce message
Ça fonctionne sous Debian buster avec la version 3.7.3 de singularity.

Sitôt dit, sitôt fait !
J'ai uniquement installé la version 1.16.4 pour go qui est la version en cours, également la version 3.7.3 de Singularity (git checkout v3.7.3) et j'ai conservé les paquets cvmfs et cvmfs-fuse3 de Debian Buster.

Il y a eu quelques messages d'erreur.
Pour les dépendances :
# github.com/golang/dep/gps
../../../../pkg/mod/github.com/golang/dep@v0.5.4/gps/constraint.go:103:21: cannot use sv (type *semver.Version) as type semver.Version in field value
../../../../pkg/mod/github.com/golang/dep@v0.5.4/gps/constraint.go:122:16: invalid type assertion: c.(semver.Version) (non-interface type *semver.Constraints on left)
../../../../pkg/mod/github.com/golang/dep@v0.5.4/gps/constraint.go:149:4: undefined: semver.Constraint
Pour mconfig :
unable to find the cryptsetup program, is the package cryptsetup-bin installed?Cependant, ça n'a pas eu de conséquences pour la suite de l'installation.

Ça à l'air d’être bien parti (cf. images jointes) !
Merci pour la piqûre de rappel, c'est d'actualité ...  :D
Mon site : Météo amateur

“Rien n'est jamais perdu tant qu'il reste quelque chose à trouver.” Pierre Dac

JeromeC

  • CàA
  • Messages: 26673
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #40 le: 20 mai 2021 à 11:04 »
Vi normalement c'est aussi une procédure équivalente (identique ?) qu'indicait le message que je citais plus haut.
Parce que c'était lui, parce que c'était moi.

lepingouin

  • Messages: 24
  • P'tit Nouveau
  • *
  •   
    • Ma météo
Re : Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #41 le: 20 mai 2021 à 12:59 »
Vi normalement c'est aussi une procédure équivalente (identique ?) qu'indicait le message que je citais plus haut.

Toutafé, c'est du même acabit.
On va voir d'ici ce soir si cette loooooooongue native ATLAS va produire un HIT ... ou pas.
Mon site : Météo amateur

“Rien n'est jamais perdu tant qu'il reste quelque chose à trouver.” Pierre Dac

franky82

  • DROITS - Journalistes
  • Messages: 1738
  • Boinc'eur devant l'éternel
  • *
  •   
    • Photo de bière
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #42 le: 20 mai 2021 à 13:03 »
Si ça plante pas aux alentours de 10-11 mn, c'est bon !
Mon site : Photo de bière
 

lepingouin

  • Messages: 24
  • P'tit Nouveau
  • *
  •   
    • Ma météo
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #43 le: 21 mai 2021 à 16:00 »
J'ai modifié dans le forum de LHC@Home la procédure précitée par JeromeC en privilégiant les paquets plutôt que les sources, solution que je préfère pour éviter de mettre le dawa dans les zinzins  :D
Testé et validé  :oki:
Mon site : Météo amateur

“Rien n'est jamais perdu tant qu'il reste quelque chose à trouver.” Pierre Dac

JeromeC

  • CàA
  • Messages: 26673
  • Boinc'eur devant l'éternel
  • *****
  •   
Re : [TUTO] LHC - Atlas Native ( Linux seulement )
« Réponse #44 le: 22 mai 2021 à 12:27 »
:+1:
Parce que c'était lui, parce que c'était moi.