The Science Cloud / vast.ai

[Rhodan71]

arf, j'avais pas fait gaffe à ça, vu que les CPU tournaient sur mon Linux.
Merci Kali !

[JeromeC]

J'ai trucidé mon instance à 4 GPUs 4090 !

bah sois moins gourmand aussi ? moi je limite à 1 seul GPU déjà, t'as vu le prix de la mienne ? sur du ponctuel ça le fait.

Je pense que ca vient du mode dans lequel docker est lancé, il faudrait --privileged

A quel moment / comment ?

Alors ca donne quoi ce cpu ?

Ben c'est beaucoup mieux ! je suis passé de tâches qui tournaient jusqu'à 9h sur gerasim à 1h15 max pour le moment, et sur boinctui je vois que les tâches en cours ont bien une durée CPU peu inférieure à la durée d'exécution.

Pour le GPU les BRP mettent entre 6 et 12mn (4 à la fois) et les O3 entre 1,1 à 1,7 heure.

[JeromeC]

Bon sinon pour essayer d'accéder avec BoincTasks à la machine je me suis fait aider par leur support (décidément très réactif) et j'ai pu 
- créer une copie de mon template en template "privé"
- ajouter un paramètre pour ouvrir le port 31416
- arrêter puis modifier mon instance pour lui dire d'utiliser ce template et redémarrer l'instance

Sauf que tout a l'air bien configuré, on voit bien le nom de mon nouveau template et le port 31416 mentionné dans "environnement"

mais ça marche pas, on devrait le voir ici et il y est pas

Le gars du support voulait que j'essaye avec un autre port "plus grand" genre 32000 mais moi je sais modifier le setup de boinc pour utiliser un autre port, je crois que c'est possible mais ça m'a saoulé et ça attendra des jours meilleurs

[PhilTheNet]

Instance port range p'être

[JeromeC]

Bon ben j'ai tué la 1ère machine VAST (efficace, j'oublie la 1ère 1ère ) un peu moins brutalement (que la 1ère 1ère) en laissant finir les tâches (mais en virant toutes celles non commencées, faut pas déconner) et hasta la vista baby ! il me reste 15c (*) sur le compte.

La prochaine fois il faudra vraiment que je creuse cette histoire d'ouverture de ports, j'aimerais quand même bien pouvoir gérer avec BoincTasks plutôt que tout le temps boinctui (+ SAM, certes) dans un terminal...

(*) de mes 10$ initiaux, c'est quand même un truc où il faut faire gaffe, j'avais vraiment limité le budget au max car je sens que ça peut filer très vite cette affaire...

[[AF>Amis des Lapins] Jean-Luc]

(*) des mes 10$ initiaux, c'est quand même un truc où il faut faire gaffe, j'avais vraiment limité le budget au max car je sens que ça peut filer très vite cette affaire...

Oh oui, ça peut filer très très vite !

[JeromeC]

Ça sent le vécu

[JeromeC]

Bon ben j'ai pas tenu longtemps : j'ai pris un autre Vast "pour le weekend"

Avec 20 threads non partagés (20/20) sauf que y'a marqué "shared", et pourtant j'ai bien 20 threads qui tournent à 100% : je comprends pas tout 

Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz
NVIDIA GeForce RTX 3080 Ti

à 0,12$ de l'heure.

Et, joie, le réglage que j'avais laissé sur mon template privé, clone du template cuda avec le mapping pour le port 31416, ben ce coup-ci il marche !! comme expliqué dans leur doc, ça l'alloue à un port public "aléatoire" (visible sur la console en cliquant sur l'IP), donc j'ai pu configurer BT avec l'IP + ce port et je peux gérer la machine sous BT, trop bien !!

Seul truc que j'arrive pas à faire : changer le nom du host, si j'édite /etc/hostname et /etc/host et que je reboot ils ont l'air réinitialisés de nouveau avec le nom d'avant, et (comme expliqué plus haut) hostnamectl ne marche pas, mais bon sous BT on donne facilement le nom qu'on veut à la machine, c'est juste sur les comptes projets que c'est chiant car ce hostname et toujours "une chaine alphanumérique à la con".

[toTOW]

Tu sais sur Vast.ai, c'est pas pour les CPU que c'est conçu à la base

[JeromeC]

Les GPU tu veux dire ? enfin dans le cas présent, les deux servent

[toTOW]

Non c'est bien ce que je dis, c'est pas les CPU qui sont mis en avant, et beaucoup ne les utilisent pas.

[JeromeC]

Bon en tous cas j'ai géré le truc comme un gros nul : la machine s'est stoppée ce matin à 8h faute de fonds, j'ai vu le mail et pas eu le temps de m'en occuper puis j'ai oublié, résultat ben je viens de la killer sans production depuis ce matin, et en plus j'aurai une charge facturée pour l'espace disque consommé, tant que t'as pas tué la machine l'espace disque est facturée même si elle tourne plus...

Sinon j'ai eu de méchantes instabilités hier sur la connexion, BT se déconnectait et se reconnectait tout le temps sans que je comprenne pourquoi, la machine était up and running (j'étais en SSH dedans) mais je voulais que BT engrange des données dans l'historique...

J'aime bien les ...

[JeromeC]

Là où j'ai bien merdé dans cette affaire c'est que je réalise que la machine avait encore plus de 500 tâches en attente avec encore une semaine de validité  

Je sais c'est pas bien

(celle d'avant j'avais tout bien cleané avant de la tuer)

[JeromeC]

Comme je l'évoque ici j'ai eu une galère que j'avais pas encore eu avec vast.ai : en utilisant le même template et le même ubuntu que durant mes usages précédents, boinc ne voulait plus reconnaitre la RTX 5070, et ce sur 2 instances différentes que j'ai testé (une en cuda 12.8 et l'autre en 12.9).

J'avais tout le temps "no usable GPU found", sur la première j'ai fait pas mal de chose (enfin : chatgpt m'a fait faire pas mal de choses) : nvidia-smi et tout un tas d'autres trucs reconnaissaient le GPU sans problème (drivers cuda, etc, etc). Il m'a même fait tout recompiler un boinc avec des options pour forcer la reconnaissance du GPU, diverses options de cc_config censées aider, mais rien n'y a fait. Il (chatgpt) me disait que ça venait certainement du fait que j'étais dans une instance docker, mais que normalement on pouvait s'en sortir, sauf que non. Et surtout pour mes usages précédents, ça le faisait bien.

Donc au bout de près d'une heure et demi de tentatives j'ai décidé de benner l'instance et j'en ai repris une autre, toujours avec la même RTX 5070 et rebelote, boinc ne reconnaissait pas le GPU non plus, sauf que là j'ai pas perdu de temps et je l'ai tué directement, et j'ai downgradé avec une instance RTX 3060 (cuda 12.2) et là pas de problème, boinc est content (et moi encore plus).

Pour le coup c'est quand même vachement bien foutu ce vast.ai, en quelques clics tu crées (et tu tues) des instances, et quelques minutes après tu es dedans.

Si jamais y'en a qui ont eu des soucis de ce genre (pas forcément avec vast) ça serait intéressant d'avoir un partage d'expérience.

[[AF>Amis des Lapins] Jean-Luc]

Je ferai des essais plus poussés début août.
Je vous tiendrai au courant.
Mais pour moi, vast, ce sera "GPU yes" et "CPU no", ou très peu.

[JeromeC]

Bah quand t'as 28 threads (en dédié, c'est ce que j'ai en ce moment) derrière et pour le même prix, c'est franchement idiot contre-productif de ne rien en faire...

Pour avoir toujours des machines avec le CPU dédié dans l'outil de recherche je mets le curseur de threads minimum et maximum juste à côté (on peut pas les mettre l'un sur l'autre), et la plupart des machines qui sortent n'ont pas un truc du genre "20/40" ce qui veut dire que tu partages et que c'est merdique.

Autre limitations / complications que j'ai constaté :

- comme on est dans un docker on a pas systemctl accessible, mais pour boinc "service boinc-client start" (stop/restart) marche très bien
- impossible de changer le nom de l'hôte, hostnamectl marche pas, et la technique de MaJ les fichiers /etc/hostname et /etc/hosts ne donne rien : si je redémarre la machine ils sont réinitialisés

Il y a peut-être des solutions mais je n'ai pas cherché plus.

[Maeda]

Des fois il ne faut pas trop chercher car contourner leur restriction risque d'amener à pire (cf Shadow, à la fin on avait du mal à garder la VM en route 24/7).

[JeromeC]

Ben là je m'en sers que sur 3 jours sur les sprints (ma décision raisonnable) en ne dépensant pas plus de 10$, donc pour l'instant pas de problème.

En plus celui que j'ai est en Corée du sud, ça fait voyager (apacherr)

[[AF>Amis des Lapins] Jean-Luc]

En plus celui que j'ai est en Corée du sud, ça fait voyager (apacherr)

En CPU, je ne sais pas, mais en GPU, j'ai remarqué que ceux de Hong Kong et ceux de Tchéquie étaient les moins chères !

Bah quand t'as 28 threads (en dédié, c'est ce que j'ai en ce moment) derrière et pour le même prix, c'est franchement idiot contre-productif de ne rien en faire...

Si tu as 28 threads, tu peux en lancer 10 ou 12 en CPU.
Su tu dépasses, tes performances GPU diminuent très fortement.
C'était le cas avec GFN sur PrimeGrid.
Je n'ai pas fait d'essais avec d'autres projets GPU.
Mais je n'ai fait mes essais qu'avec une seule instance de 4 GPUs.

[JeromeC]

Ben sur asteroid les tâches GPU (cuda, de toutes façons tu peux faire que du cuda avec les vast) utilisent 98% du GPU (RTX 3060 pour le moment) et n'utilisent que 2% d'un thread CPU, donc c'est pas un problème du tout

Faut pas raisonner que avec PG, et je pense que ton estimation de "n'utiliser que 12 threads CPU sur 28 sinon *la* tâche GPU s'écroule" est... pour le moins étrange.

[[AF>Amis des Lapins] Jean-Luc]

Oui, je ne sais pas trop pour tous les autres projets.
Je ferai  quelques tests cet été, quand j'aurai du temps.
J'espère bien que je vais pouvoir profiter des threads CPU sur vast !

[[AF>Amis des Lapins] Jean-Luc]

Je suis en train de tenter de me recréer une instance.
C'est fait.
J'installe BOINC.
C'est OK.

Mais quand je lance la commande suivante :

sudo service boinc-client start

ça répond :

* Starting BOINC core client: boinc                                                        [ OK ]
* Setting up scheduling for BOINC core client and children:
renice: failed to set priority for 965 (process ID): Operation not permitted
renice: failed to set priority for 965 (process ID): Operation not permitted

Et quand je lance la commande "boinctui", ça l'ouvre, mais j'ai un "unauthorized" en rouge.
Je ne peux rien faire sur boinctui.

Quelqu'un a une idée ?

[JeromeC]

Déjà a priori dans un vast t'es toujours root par défaut donc pas de sudo à mettre.

Ensuite tu as bien utilisé le template "nvidia cuda" pour créer ton instance ?

Parce que moi une fois boinc installé il a toujours fonctionné, je n'ai eu que le problème de non reconnaissance du GPU qui m'est arrivé à 2 reprises (et je change direct d'instance si c'est le cas, la lutte est inutile), mais maintenant avec le 2 ou 3 précédents que j'ai utilisé, ça le fait plus.

[[AF>Amis des Lapins] Jean-Luc]

Déjà a priori dans un vast t'es toujours root par défaut donc pas de sudo à mettre.

Oui, c'est vrai au fait !
Merci !

Ensuite tu as bien utilisé le template "nvidia cuda" pour créer ton instance ?

Oui.

Parce que moi une fois boinc installé il a toujours fonctionné, je n'ai eu que le problème de non reconnaissance du GPU qui m'est arrivé à 2 reprises (et je change direct d'instance si c'est le cas, la lutte est inutile), mais maintenant avec le 2 ou 3 précédents que j'ai utilisé, ça le fait plus.

Ok, vu.
Merci à toi pour tes conseils, je vais voir ça.
...
...
Quelques minutes après avoir lu ton message : ça marche !
Simplement, dans le boinctui, dans l'onglet "Activity", il fallait mettre "GPU run always" !!!

[[AF>Amis des Lapins] Jean-Luc]

Bien, bien : je maitrise presque tout sur vast comme sur ma propre machine à la maison.

Mais, il me reste encore deux soucis :

1) J'ai remarqué que si je redémarrai mon instance, Boinc ne se relance pas tout seul.
Or, je ne parviens pas à demander à l'instance de lancer automatiquement cette commande à chaque démarrage :
service boinc-client start
Quelqu'un sait-il comment faire ?
Il faut certainement écrire une ligne quelque part.
Je ne sais pas si ma machine va redémarrer toute seule là-bas si elle devait se couper un jour.
Et si elle redémarre et ne relance pas Boinc toute seule, je paye pour rien !

2) Je ne sais pas comment lire les fichiers de configuration avec boinctui ?
Je dois donc toujours redémarrer l'instance.
Si quelqu'un sait le faire, je suis preneur.


J'ai fait plusieurs essais pour tenter de concilier tâches CPU et tâches GPU.
Rien de concluant pour le moment.
Dès que je lance des tâches CPU, cela ralentit fortement le tâches GPU.
Ça ne se comporte pas comme ma machine à la maison, c'est bizarre !

Je vais aussi faire un petit calcul du coût et je vous tiendrai au courant.
Les tarifs de ce début juillet sont fantastiques : 30% moins cher qu'il y a un mois.
C'est pour cela que j'ai lancé une instance.
Je suis à 5.81€ par jour pour une RTX 4090, du jamais vu !