Le Forum de l'Alliance Francophone

Nouvelles:

Auteur Sujet: [Linux] Script pour suspendre / reprendre les UT  (Lu 34896 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #25 le: 19 February 2017 à 13:33
Salut !
Avec ce que tu décris et le test que j'ai fait chez moi : je me suis rendu compte que par exemple si on avait par exemple 11 projects attachés, et qu'on indiquait vouloir tuer le 1), il cherchait le 1) et le 11).

Corrections faites sur les deux scripts (le plus important étant le resume_calc), peux-tu essayer en téléchargeant de nouveau les deux depuis mon Github ? J'ai espoir que ça corrige ton problème.


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #26 le: 19 February 2017 à 18:26
Bonsoir,

Bon, je passe en mode tutoiement. J'ai chargé tes deux nouveaux scripts et j'ai testé avec WCG. Sans succès.
Voici ce que cela donne :
> Choix du projet cible <
1) -----------
   name: Collatz Conjecture
--
2) -----------
   name: World Community Grid
--
3) -----------
   name: WUProp@Home
> Entrer le choix voulu par le nombre correspondant < (0=quitter)
2
> Heure exacte à laquelle reprendre les calculs [taper ENTREE pour action immédiate] < /!\ format = mm/jj/aaaa hh:mm

=============
Votre choix :
 2) -----------
   name: World Community Grid
-> REPRISE des calculs =
=============
Est-ce OK ? (taper OK)
OK
== Script suspend_calc détecté ==
 2515 suspend_calc.sh Sun Feb 19 18:12:22 2017
Entrer le nombre correspondant pour tuer le processus à l'heure définie : (taper ENTREE pour ne rien tuer et continuer)
2515
Problème avec le PID : mauvaise saisie, on repart du début
> Choix du projet cible <
1) -----------
   name: Collatz Conjecture
--
2) -----------
   name: World Community Grid
--
3) -----------
   name: WUProp@Home
> Entrer le choix voulu par le nombre correspondant < (0=quitter)

À suivre...

Bonsoir chez vous

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #27 le: 19 February 2017 à 18:49
En fait c'est ta signature (enfin le "Bonsoir chez vous") qui me perturbe, je finis par lire un vouvoiement :hap:.

Peux-tu essayer, avec un suspend_calc de lancé, de taper cette commande en remplaçant manuellement le 4424 par le PID qui t'intéresse ?
killsusp=4424;ps -eo pid,comm | grep suspend_calc | tr -d [:alpha:] | tr -d " "| tr -d "_" | grep -E "^$killsusp\$"
⚠ Donne moi bien toute la ligne qu'il te retourne (y compris les "potentiels" espaces).

Merci.


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #28 le: 19 February 2017 à 19:20
Euh, la commande indiquée ne me retourne rien du tout... et le suspend_calc lancé reste bien vivant dans htop...

Je crunche sur un serveur Ubuntu 16.04 avec lequel je communique depuis mon portable en ssh

Bonsoir chez toi  :jap:

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #29 le: 19 February 2017 à 19:37
Ok, il devrait te retourner quelque chose. Le problème est bien à ce niveau.

Peux-tu ouvrir une "issue" sur mon github qu'on en discute/teste là-bas, ça ne polluera pas ce topic, l'avancée de la correction du bug n'est pas très intéressante au final (une fois qu'il sera corrigé, on l'oubliera) :siflotte:

Issues


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #30 le: 19 February 2017 à 19:48
Avant, j'essaye sur mon portable. Je réactive mon client boinc et j'essaye avec WCG. Réponse d'ici ce soir...

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #31 le: 19 February 2017 à 20:58
Je pense avoir trouvé le problème (le fait que ton script s'appelle suspend_calc.sh).
Peux-tu refaire le test avec cette ligne (moins sale que celle que j'avais mise) ? Même principe, change le 4424 par le PID du suspend_calc que tu veux (aucun impact sur ce qui tourne) et donne-moi son retour :

killsusp=4424;pgrep *suspend_calc* | grep -Fx $killsusp
Merci.


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #32 le: 19 February 2017 à 23:33
1. Sur mon portable, le problème est le même ("Problème avec le PID : mauvaise saisie, on repart du début") et ta ligne renvoie :
pgrep: fournissez un seul motif à la fois
Essayez « pgrep --help » pour plus d'informations.

2. Sur le serveur, en ssh depuis mon portable, ta ligne renvoie :
Expression régulière précédente invalide
Désolé de ce bien maigre retour et merci beaucoup pour tes réponses.

« Modifié: 19 February 2017 à 23:35 par Scrat65 »

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #33 le: 21 February 2017 à 09:42
OK. Essaie celle-ci :
killsusp=4424;pgrep suspend_ | grep -Fx $killsusp


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #34 le: 21 February 2017 à 13:43
La commande me renvoie le numéro du PID (en rouge).
~$ killsusp=18430;pgrep suspend_ | grep -Fx $killsusp
18430

Et toujours le même "problème de PID : mauvaise saisie, on repart du début"

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #35 le: 21 February 2017 à 14:07
Peux-tu essayer de remplacer la ligne suivante dans suspend_calc :
testpid="$(ps -eo pid,comm | grep suspend_calc | tr -d [:alpha:] | tr -d " "| tr -d "_" | grep -E "^$killsusp\$")"
Et la remplacer par :
testpid="$(pgrep suspend_ | grep -Fx $killsusp)"


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #36 le: 21 February 2017 à 14:21
J'ai changé ligne indiquée dans resume_calc (et pas dans suspend_calc).
Une fois le changement fait, j'ai lancé un suspend_calc puis un resume_calc et cela marche. :hap:

== Script suspend_calc détecté ==
25355 suspend_calc.sh Tue Feb 21 14:17:10 2017
Entrer le nombre correspondant pour tuer le processus à l'heure définie : (taper ENTREE pour ne rien tuer et continuer)
25355
On tue le suspend_calc demandé
Reprise des calculs...
[210217 14:19:03] Reprise de : collatz_sieve_3189933832941393149952_52776558133248_0
[210217 14:19:03] Reprise de : collatz_sieve_3177304824792571969536_52776558133248_1
Fin script

Encore tous mes remerciements pour ta réactivité et ton aide. :jap:

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #37 le: 21 February 2017 à 20:26
 :jap:
Ce n'est pas encore parfait, mais ça fonctionne tant que le script suspend_calc s'appelle "suspend_". A voir si je trouve mieux en cherchant un peu.

Github à jour.


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #38 le: 22 February 2017 à 10:36
Cela fonctionne chez moi avec un script qui s'appelle "suspend_calc.sh".

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne [AF>Libristes] ElGuillermo

  • Boinc'eur Respectable
  • ****
  • Messages: 633
  •   
    • E-mail
Réponse #39 le: 02 April 2017 à 11:23
Hello !

Pour les Windowsiens (et les Linuxiens qui ont un Wine installé) :
Le gestionnaire BoincTasks possède un système de règles qui permet de suspendre des tâches selon différents critères (pourcentage de complétion, temps restant, etc).
C'est très simple et ça fonctionne bien (et ça permet, en plus, de gérer un parc entier de machines, distantes ou non, de surveiller les températures des CPUs/GPUs et d'agir en conséquence, etc)...

http://efmer.com/b/?q=boinctasks_download

Un joli tuto maison sur la création de règles pour suspendre une UT selon son état de complétion :
https://forum.boinc-af.org/index.php/topic,5607.msg356279.html#msg356279
« Modifié: 02 April 2017 à 11:27 par [AF>Libristes] ElGuillermo »



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31102
  •   
Réponse #40 le: 03 April 2017 à 11:11
==> https://forum.boinc-af.org/index.php/topic,5607.msg399370.html#msg399370

Ce tuto n'est pas mis à jour depuis 2015 mais si je regarde sur le site BT la dernière version date aussi de 09/2015... mais le forum a l'air toujours actif et l'admin continue de répondre... ptet que l'appli est parfaite et n'a plus besoin d'évoluer ? :D

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF>Libristes] cottesloe

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1300
  •   
Réponse #41 le: 04 April 2017 à 07:26
Salut,
J'ai un petit problème avec le script suspend.
En vue du raid de printemps, j'ai charger mon cache en Asteroids et en Primegrid.
Pour Asteroids, j'ai ce retour:
Votre choix :
1) -----------
   name: Asteroids@home
=============
Est-ce OK pour démarrer ? (taper OK)
OK
En cours de surveillance... limite temps restant = 99s
[030417 22:54:39] Suspension de : ps_170403_input_100055_14_0
03-Apr-2017 22:54:39: GUI RPC error: No such project
Operation failed: Error -1
[030417 22:54:44] Suspension de : ps_170403_input_100055_14_0
03-Apr-2017 22:54:44: GUI RPC error: No such project
Operation failed: Error -1
et comme ça toute la nuit. Les UT sont terminées et renvoyées normalement.  :??:

Pour Prime, c'est parti pareil, mais au milieu de la nuit, les UTs se sont bien arrêtée à 1.30min de la fin de calcul.  :??: :??:

Bref, que faut-il faire pour que le script fonctionne normalement? 

Merci.
 :hello:


"Je sers la science et c'est ma joie" Disciplus Simplex
Écoutez la meilleure émission radio de la Terre, et rêver l'avenir encore un peu sur La Planète Bleue. www.laplanetebleue.com


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #42 le: 04 April 2017 à 17:25
Vérifie si la variable boincdir au tout début de suspend_calc est bien avec le bon chemin.
Sinon relance simplement le manager Boinc (boincmgr).


Hors ligne [AF>Libristes] cottesloe

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1300
  •   
Réponse #43 le: 04 April 2017 à 20:37
Mon dossier boinc est sous /var/lib/boinc/
C'est ce que j'ai renseigné sur la ligne boincdos
boincdos="/var/lib/boinc/"Le plus curieux, les UTs Primegrid sont bien stoppées, mais pas celles d'asteroids...
« Modifié: 04 April 2017 à 20:39 par [AF>Libristes] cottesloe »


"Je sers la science et c'est ma joie" Disciplus Simplex
Écoutez la meilleure émission radio de la Terre, et rêver l'avenir encore un peu sur La Planète Bleue. www.laplanetebleue.com


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #44 le: 05 April 2017 à 12:24
J'ai pareil.

Il y a un léger bug. J'ai pas le temps tout de suite d'uploader la MAJ.

Il suffit, dans le script suspend_calc, de changer la ligne suivante :

url_prj="$(boinccmd --get_project_status | grep -A 2 "^$chx_prj) " | grep URL | cut -d " " -f6)"
-> Il manquait le ^ avant $chx_prj

Puis stopper et relancer les suspend_calc déjà lancés.


Hors ligne [AF>Libristes] cottesloe

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1300
  •   
Réponse #45 le: 05 April 2017 à 12:59
OK, je vois ça ce soir, et je te dis quoi.  :jap:


"Je sers la science et c'est ma joie" Disciplus Simplex
Écoutez la meilleure émission radio de la Terre, et rêver l'avenir encore un peu sur La Planète Bleue. www.laplanetebleue.com


Hors ligne [AF>Libristes] cottesloe

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 1300
  •   
Réponse #46 le: 05 April 2017 à 18:56
Ça à l'air de fonctionner avec le chapeau ^ qui manquait.
Bravo!  :jap:  :jap:  :jap:
Je vais pouvoir faire un "petit" lâcher pour le raid.  :hello:


"Je sers la science et c'est ma joie" Disciplus Simplex
Écoutez la meilleure émission radio de la Terre, et rêver l'avenir encore un peu sur La Planète Bleue. www.laplanetebleue.com


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #47 le: 06 May 2017 à 13:33
Bonjour,

Dans le cadre du Penthatlon, j'ai un soucis avec le script suspend_cal pour les UT Einstein@home, plus particulièrement les UT pour le GPU. La limite par défaut de 59 s ne s'applique pas à ces UT qui sont calculées totalement et renvoyées donc adieu la préparation de mon lacher...
J'ai essayé de compléter la liste des projets en indiquant pour celui d'Einstein@home une limite de 69s pour ces UT que ma Nvidia  GTX 970 calcule en environ 18 mn  :
http://einstein.phys.uwm.edu/)
        limite="69s"
form="$chcom[0-6][0-9]\.|$chcom[0-9]\." ;;
Mais cela ne fonctionne pas ; les UT passent toujours à 100 % et partent en DL  :??:

Une idée ?

Bonjour chez vous

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2470
  •   
Réponse #48 le: 06 May 2017 à 13:55
Salut !

Pour les Einstein / GPU, j'ai mis 669s, pour être sûr, je n'ai pas testé moins :
http://einstein.phys.uwm.edu/)
                limite="669s"
                form="$chcom[0-6][0-6][0-9]\.|$chcom[0-9][0-9]\.|$chcom[0-9]\." ;;

Toutes mes UT se suspendent à 11 min de la fin, c'est correct.
Il faudrait que je trouve un moyen plus élégant pour mettre ce paramètre  :/


Hors ligne Scrat65

  • Boinc'eur Confirmé
  • ***
  • Messages: 320
  •   
    • E-mail
Réponse #49 le: 06 May 2017 à 14:47
Hello,

Merci de ta réactivité. J'essaye 669 s et je te tiens au courant.

Edit : une première UT est bien suspendue à 11 mn de la fin mais à seulement 40,37% réalisée. Je vais essayer :
limite="369s"
form="$chcom[0-3][0-6][0-9]\.|$chcom[0-9][0-9]\.|$chcom[0-9]\." ;;

L'UT est suspendue à 6 mn avant la fin et à 67 % réalisée ; c'est mieux...

PS : pourrais-je savoir quel GPU utilises-tu pour les UT GPU Einstein ?


« Modifié: 06 May 2017 à 15:26 par Scrat65 »

« Nous sommes des nains juchés sur les épaules de géants ; nous voyons plus qu'eux, et plus loin ; non que notre regard soit perçant, ni élevée notre taille, mais nous sommes élevés, exhaussés, par leur stature gigantesque » Bernard de Chartres (XIIe siècle)