[Linux] Script pour suspendre / reprendre les UT

[Maeda]

Salut !
Avec ce que tu décris et le test que j'ai fait chez moi : je me suis rendu compte que par exemple si on avait par exemple 11 projects attachés, et qu'on indiquait vouloir tuer le 1), il cherchait le 1) et le 11).

Corrections faites sur les deux scripts (le plus important étant le resume_calc), peux-tu essayer en téléchargeant de nouveau les deux depuis mon Github ? J'ai espoir que ça corrige ton problème.

[Scrat65]

Bonsoir,

Bon, je passe en mode tutoiement. J'ai chargé tes deux nouveaux scripts et j'ai testé avec WCG. Sans succès.
Voici ce que cela donne :

Code Sélectionner Étendre

> Choix du projet cible <
1) -----------
   name: Collatz Conjecture
--
2) -----------
   name: World Community Grid
--
3) -----------
   name: WUProp@Home
> Entrer le choix voulu par le nombre correspondant < (0=quitter)
2
> Heure exacte à laquelle reprendre les calculs [taper ENTREE pour action immédiate] < /!\ format = mm/jj/aaaa hh:mm

=============
Votre choix :
2) -----------
   name: World Community Grid
-> REPRISE des calculs =
=============
Est-ce OK ? (taper OK)
OK
== Script suspend_calc détecté ==
2515 suspend_calc.sh Sun Feb 19 18:12:22 2017
Entrer le nombre correspondant pour tuer le processus à l'heure définie : (taper ENTREE pour ne rien tuer et continuer)
2515
Problème avec le PID : mauvaise saisie, on repart du début
> Choix du projet cible <
1) -----------
   name: Collatz Conjecture
--
2) -----------
   name: World Community Grid
--
3) -----------
   name: WUProp@Home
> Entrer le choix voulu par le nombre correspondant < (0=quitter)


À suivre...

Bonsoir chez vous

[Maeda]

En fait c'est ta signature (enfin le "Bonsoir chez vous") qui me perturbe, je finis par lire un vouvoiement .

Peux-tu essayer, avec un suspend_calc de lancé, de taper cette commande en remplaçant manuellement le 4424 par le PID qui t'intéresse ?

Code Sélectionner Étendre

killsusp=4424;ps -eo pid,comm | grep suspend_calc | tr -d [:alpha:] | tr -d " "| tr -d "_" | grep -E "^$killsusp\$"

⚠ Donne moi bien toute la ligne qu'il te retourne (y compris les "potentiels" espaces).

Merci.

[Scrat65]

Euh, la commande indiquée ne me retourne rien du tout... et le suspend_calc lancé reste bien vivant dans htop...

Je crunche sur un serveur Ubuntu 16.04 avec lequel je communique depuis mon portable en ssh

Bonsoir chez toi 

[Maeda]

Ok, il devrait te retourner quelque chose. Le problème est bien à ce niveau.

Peux-tu ouvrir une "issue" sur mon github qu'on en discute/teste là-bas, ça ne polluera pas ce topic, l'avancée de la correction du bug n'est pas très intéressante au final (une fois qu'il sera corrigé, on l'oubliera)

Issues

[Scrat65]

Avant, j'essaye sur mon portable. Je réactive mon client boinc et j'essaye avec WCG. Réponse d'ici ce soir...

[Maeda]

Je pense avoir trouvé le problème (le fait que ton script s'appelle suspend_calc.sh).
Peux-tu refaire le test avec cette ligne (moins sale que celle que j'avais mise) ? Même principe, change le 4424 par le PID du suspend_calc que tu veux (aucun impact sur ce qui tourne) et donne-moi son retour :

Code Sélectionner Étendre

killsusp=4424;pgrep *suspend_calc* | grep -Fx $killsusp

Merci.

[Scrat65]

1. Sur mon portable, le problème est le même ("Problème avec le PID : mauvaise saisie, on repart du début") et ta ligne renvoie :

Code Sélectionner Étendre

pgrep: fournissez un seul motif à la fois
Essayez « pgrep --help » pour plus d'informations.

2. Sur le serveur, en ssh depuis mon portable, ta ligne renvoie :

Code Sélectionner Étendre

Expression régulière précédente invalide

Désolé de ce bien maigre retour et merci beaucoup pour tes réponses.

[Maeda]

OK. Essaie celle-ci :

Code Sélectionner Étendre

killsusp=4424;pgrep suspend_ | grep -Fx $killsusp

[Scrat65]

La commande me renvoie le numéro du PID (en rouge).

Code Sélectionner Étendre

~$ killsusp=18430;pgrep suspend_ | grep -Fx $killsusp
18430


Et toujours le même "problème de PID : mauvaise saisie, on repart du début"

[Maeda]

Peux-tu essayer de remplacer la ligne suivante dans suspend_calc :

Code Sélectionner Étendre

testpid="$(ps -eo pid,comm | grep suspend_calc | tr -d [:alpha:] | tr -d " "| tr -d "_" | grep -E "^$killsusp\$")"

Et la remplacer par :

Code Sélectionner Étendre

testpid="$(pgrep suspend_ | grep -Fx $killsusp)"

[Scrat65]

J'ai changé ligne indiquée dans resume_calc (et pas dans suspend_calc).
Une fois le changement fait, j'ai lancé un suspend_calc puis un resume_calc et cela marche.

Code Sélectionner Étendre

== Script suspend_calc détecté ==
25355 suspend_calc.sh Tue Feb 21 14:17:10 2017
Entrer le nombre correspondant pour tuer le processus à l'heure définie : (taper ENTREE pour ne rien tuer et continuer)
25355
On tue le suspend_calc demandé
Reprise des calculs...
[210217 14:19:03] Reprise de : collatz_sieve_3189933832941393149952_52776558133248_0
[210217 14:19:03] Reprise de : collatz_sieve_3177304824792571969536_52776558133248_1
Fin script


Encore tous mes remerciements pour ta réactivité et ton aide.

[Maeda]

 
Ce n'est pas encore parfait, mais ça fonctionne tant que le script suspend_calc s'appelle "suspend_". A voir si je trouve mieux en cherchant un peu.

Github à jour.

[Scrat65]

Cela fonctionne chez moi avec un script qui s'appelle "suspend_calc.sh".

[[AF>Libristes] ElGuillermo]

Hello !

Pour les Windowsiens (et les Linuxiens qui ont un Wine installé) :
Le gestionnaire BoincTasks possède un système de règles qui permet de suspendre des tâches selon différents critères (pourcentage de complétion, temps restant, etc).
C'est très simple et ça fonctionne bien (et ça permet, en plus, de gérer un parc entier de machines, distantes ou non, de surveiller les températures des CPUs/GPUs et d'agir en conséquence, etc)...

http://efmer.com/b/?q=boinctasks_download

Un joli tuto maison sur la création de règles pour suspendre une UT selon son état de complétion :
https://forum.boinc-af.org/index.php/topic,5607.msg356279.html#msg356279

[JeromeC]

==> https://forum.boinc-af.org/index.php/topic,5607.msg399370.html#msg399370

Ce tuto n'est pas mis à jour depuis 2015 mais si je regarde sur le site BT la dernière version date aussi de 09/2015... mais le forum a l'air toujours actif et l'admin continue de répondre... ptet que l'appli est parfaite et n'a plus besoin d'évoluer ?

[[AF>Libristes] cottesloe]

Salut,
J'ai un petit problème avec le script suspend.
En vue du raid de printemps, j'ai charger mon cache en Asteroids et en Primegrid.
Pour Asteroids, j'ai ce retour:

Code Sélectionner Étendre

Votre choix :
1) -----------
   name: Asteroids@home
=============
Est-ce OK pour démarrer ? (taper OK)
OK
En cours de surveillance... limite temps restant = 99s
[030417 22:54:39] Suspension de : ps_170403_input_100055_14_0
03-Apr-2017 22:54:39: GUI RPC error: No such project
Operation failed: Error -1
[030417 22:54:44] Suspension de : ps_170403_input_100055_14_0
03-Apr-2017 22:54:44: GUI RPC error: No such project
Operation failed: Error -1

et comme ça toute la nuit. Les UT sont terminées et renvoyées normalement. 

Pour Prime, c'est parti pareil, mais au milieu de la nuit, les UTs se sont bien arrêtée à 1.30min de la fin de calcul. 

Bref, que faut-il faire pour que le script fonctionne normalement? 

Merci.

[Maeda]

Vérifie si la variable boincdir au tout début de suspend_calc est bien avec le bon chemin.
Sinon relance simplement le manager Boinc (boincmgr).

[[AF>Libristes] cottesloe]

Mon dossier boinc est sous /var/lib/boinc/
C'est ce que j'ai renseigné sur la ligne boincdos

Code Sélectionner Étendre

boincdos="/var/lib/boinc/"
Le plus curieux, les UTs Primegrid sont bien stoppées, mais pas celles d'asteroids...

[Maeda]

J'ai pareil.

Il y a un léger bug. J'ai pas le temps tout de suite d'uploader la MAJ.

Il suffit, dans le script suspend_calc, de changer la ligne suivante :

Code Sélectionner Étendre

url_prj="$(boinccmd --get_project_status | grep -A 2 "^$chx_prj) " | grep URL | cut -d " " -f6)"

-> Il manquait le ^ avant $chx_prj

Puis stopper et relancer les suspend_calc déjà lancés.

[[AF>Libristes] cottesloe]

OK, je vois ça ce soir, et je te dis quoi. 

[[AF>Libristes] cottesloe]

Ça à l'air de fonctionner avec le chapeau ^ qui manquait.
Bravo!     
Je vais pouvoir faire un "petit" lâcher pour le raid. 

[Scrat65]

Bonjour,

Dans le cadre du Penthatlon, j'ai un soucis avec le script suspend_cal pour les UT Einstein@home, plus particulièrement les UT pour le GPU. La limite par défaut de 59 s ne s'applique pas à ces UT qui sont calculées totalement et renvoyées donc adieu la préparation de mon lacher...
J'ai essayé de compléter la liste des projets en indiquant pour celui d'Einstein@home une limite de 69s pour ces UT que ma Nvidia  GTX 970 calcule en environ 18 mn  :

Code Sélectionner Étendre


http://einstein.phys.uwm.edu/)
        limite="69s"
form="$chcom[0-6][0-9]\.|$chcom[0-9]\." ;;
Mais cela ne fonctionne pas ; les UT passent toujours à 100 % et partent en DL 

Une idée ?

Bonjour chez vous

[Maeda]

Salut !

Pour les Einstein / GPU, j'ai mis 669s, pour être sûr, je n'ai pas testé moins :

Code Sélectionner Étendre

http://einstein.phys.uwm.edu/)
                limite="669s"
                form="$chcom[0-6][0-6][0-9]\.|$chcom[0-9][0-9]\.|$chcom[0-9]\." ;;

Toutes mes UT se suspendent à 11 min de la fin, c'est correct.
Il faudrait que je trouve un moyen plus élégant pour mettre ce paramètre 

[Scrat65]

Hello,

Merci de ta réactivité. J'essaye 669 s et je te tiens au courant.

Edit : une première UT est bien suspendue à 11 mn de la fin mais à seulement 40,37% réalisée. Je vais essayer :

Code Sélectionner Étendre

limite="369s"
form="$chcom[0-3][0-6][0-9]\.|$chcom[0-9][0-9]\.|$chcom[0-9]\." ;;
L'UT est suspendue à 6 mn avant la fin et à 67 % réalisée ; c'est mieux...

PS : pourrais-je savoir quel GPU utilises-tu pour les UT GPU Einstein ?