The Science Cloud / vast.ai

[Maeda]

Je ne sais pas s'ils ont limité ça (fort possible), mais tente ceci pour l'activer au démarrage de la machine :

Code Sélectionner Étendre

systemctl enable boinc-client
Si cela ne fonctionne toujours pas, essaie de mettre le démarrage dans le crontab de root :

Code Sélectionner Étendre

crontab -ePuis ajoute cette ligne :

Code Sélectionner Étendre

@reboot service boinc-client start
La première option reste la plus propre.

[[AF>Amis des Lapins] Jean-Luc]

Merci Maeda.
Aucune des deux méthodes ne fonctionne !
Je dois à chaque fois relancer manuellement !

[[AF>Amis des Lapins] Jean-Luc]

J'ai fait des essais plus poussés pour le CPU.
Le CPU de mon instance est un AMD EPYC 7282 16-Core Processor.
Il semble avoir 64 threads avec BOINC : on peut lancer 64 WUs en parallèle par exemple avec NumberFields.
Mais surprise, il est donné avec 16 cores et donc 32 threads par le fabriquant.
Autre surprise :
Pour que le GPU fonctionne de manière 100% optimale, j'ai dû descendre jusqu'à 6 WUs simultannées pour le CPU !!!
Je laisse donc tourner une WU amicable qui se termine en 90-91 secondes sur la 4090 et 6 WUs NumberFields en parallèle sur le CPU.
Je ne peux pas faire mieux.

[JeromeC]

Bien, bien : je maitrise presque tout sur vast comme sur ma propre machine à la maison.

A la bonne heure

Mais, il me reste encore deux soucis :

1) J'ai remarqué que si je redémarrai mon instance, Boinc ne se relance pas tout seul.

Mais pourquoi diable veux-tu redémarrer ton instance ?? moi je la loue que pour un sprint, je l'allume au début et je la tue à la fin - faut bien penser à la supprimer si tu fais juste que l'arrêter ça continue à et charger l'espace disque utilisé.

D'ailleurs les instances ne sont pas éternelle, elles ont une durée de vie, variable. Une fois lancée en haut à droite de la vue instance sur ton compte vast tu as un "instance lifetime remaining".

Or, je ne parviens pas à demander à l'instance de lancer automatiquement cette commande à chaque démarrage :
service boinc-client start
Quelqu'un sait-il comment faire ?
Il faut certainement écrire une ligne quelque part.

Je n'ai pas réussi à mettre des paramètres persistants, par exemple le host name je n'arrive jamais à le changer car

- hostnamectl ne marche pas dans cette machine docker
- quand j'avais tenté (avec succès) de mettre à jour /etc/hostname et /etc/hosts et justement j'avais redémarré pour prise en compte, ben ils étaient redevenus comme avant avec le nom de host à la con que vast leur attribue (j'ai pas contacté le support sur ce point, sur quelques jours finalement ça me dérange pas trop)

Je ne sais pas si ma machine va redémarrer toute seule là-bas si elle devait se couper un jour.

Ben je vois pas pourquoi elle le ferait, ou alors elle est au bout de se lifetime et alors elle sera morte

Et si elle redémarre et ne relance pas Boinc toute seule, je paye pour rien !

Mais non j'te dis !

2) Je ne sais pas comment lire les fichiers de configuration avec boinctui ?
Je dois donc toujours redémarrer l'instance.
Si quelqu'un sait le faire, je suis preneur.

boinctui a un certain nombre de limitations, c'est super mais c'est pas équivalent à un boinc manager, la ligne de commande est ton amie : boinccmd --read_cc_config

Tu peux aussi faire un ptit "boinc-client restart"

J'ai fait plusieurs essais pour tenter de concilier tâches CPU et tâches GPU.
Rien de concluant pour le moment.
Dès que je lance des tâches CPU, cela ralentit fortement le tâches GPU.
Ça ne se comporte pas comme ma machine à la maison, c'est bizarre !

Ben je sais pas dire, en ce moment comme y'a pas de tâche GPU cuda linux pour gerasim je fais du einstein meekat (que je peux pas faire sur le mac), ça m'a l'air de rouler...

Je vais aussi faire un petit calcul du coût et je vous tiendrai au courant.
Les tarifs de ce début juillet sont fantastiques : 30% moins cher qu'il y a un mois.
C'est pour cela que j'ai lancé une instance.
Je suis à 5.81€ par jour pour une RTX 4090, du jamais vu !

Moi j'ai un Xeon® E5-2690 v2 avec 40 threads dédiés (important) et une RTX 4070 pour 3.669$ par jour. Le temps du sprint, je me suis fixé comme limite 10$ sur un sprint. .

[JeromeC]

J'ai fait des essais plus poussés pour le CPU.
Le CPU de mon instance est un AMD EPYC 7282 16-Core Processor.
Il semble avoir 64 threads avec BOINC : on peut lancer 64 WUs en parallèle par exemple avec NumberFields.
Mais surprise, il est donné avec 16 cores et donc 32 threads par le fabriquant.
Autre surprise :
Pour que le GPU fonctionne de manière 100% optimale, j'ai dû descendre jusqu'à 6 WUs simultannées pour le CPU !!!
Je laisse donc tourner une WU amicable qui se termine en 90-91 secondes sur la 4090 et 6 WUs NumberFields en parallèle sur le CPU.
Je ne peux pas faire mieux.

Non pas "surprise", il y a un paramètre très important à prendre en compte sur vast.ai quand tu loues une instance : le nombre de cores (ou plutôt threads je pense) dédiés par rapport au nombre de threads total, toi tu as pris une instance partagée (vous êtes plusieurs à utiliser ces cores/threads).

Quand tu cherches une instance dans les critères de recherche à gauche, vers le bas tu as "machines resources" et juste en dessous un curseur CPU cores, tu dois mettre le min et max de ce que tu recherches juste à côté (tu peux pas les mettre l'un sur l'autre) et ça va limiter ta recherche avec des hosts non partagés, mais de toutes façons dans la liste de hosts c'est bien indiqué dans la partie CPU "x sur y", si ça dit "20 sur 40" c'est que c'est partagé.

Je pense l'avoir déjà expliqué plus haut dans ce topic, mais tu me lis pas

[[AF>Amis des Lapins] Jean-Luc]

Merci pour toutes tes explications, tout devient plus clair à présent !

Je pense l'avoir déjà expliqué plus haut dans ce topic, mais tu me lis pas

Si, si, je t'assure que je te lis.
Mais il faut reconnaître que c'est un peu compliqué et que l'on ne comprend que quand on est vraiment en face du problème de manière concrète.
Je vais bien voir si l'instance se détruit !

[JeromeC]

Déjà regarde ton "instance lifetime remaining", mis à part cela y'a aucune raison que l'instance redémarre toute seule, sauf bien sûr si tu fais pas gaffe à ton crédit restant, si tu es à 0 elle s'arrête, mais ne se détruit pas : tu remets une pièce et ça repart

(et, redite, si tu oublies de le faire ça continue de charger le coût d'espace disque, même si tu es à 0 tu te retrouves en négatif et ça se prendra directement sur ce que tu remettras plus tard)

Et d'ailleurs si tu vas sur la page "billing" tu as la durée estimée restante avec ton crédit : "You will run out of credits in" avec la durée.

[zelandonii]

Bonjour,

Idée qui mérite d'être soulignée.

Je verrai lors du prochain RAID si je prends le temps de tester.

[[AF>Amis des Lapins] Jean-Luc]

Déjà regarde ton "instance lifetime remaining", mis à part cela y'a aucune raison que l'instance redémarre toute seule, ...

Moi, c'est plus cela qui m'inquiète :
Imagine que je ne sois pas au crédit 0.
La machine à Hong Kong s'arrête (coupure de courant ou autre...).
Puis elle redémarre et mon instance se remet en "open".
Boinc, ne se relance pas tout seul, mais du coup, ça me coûte autant que si ça travaille, alors que ça ne produit rien.
En fait, je ne sais pas si elle se remet en "open" si elle se coupe et redémarre là-bas ?
Et tu l'as peut-être dit dans tes posts précédents, mais comme dit plus haut, ce n'est pas toujours évident de capter toutes les infos.

Je verrai lors du prochain RAID si je prends le temps de tester.

Sur vast, je lance les projets GPU qui consomment énormément de watts, comme SRBase ou AP26 de PrimeGrid.
Cela coûte pareil alors qu'à la maison, plus tu bouffes de courant, plus ça douille, et plus ça chauffe aussi en été.


En fait, vast, je le kiffe vraiment.
C'est hyper simple en fait quand on a pigé.
Et ça coûte bien moins que Science Cloud.
Mais je vais tenter très prochainement d'évaluer plus précisément le coût par rapport au calcul à domicile.

[JeromeC]

Je verrai lors du prochain RAID si je prends le temps de tester.

J'espère que tu le prendras

Je n'avais jamais entendu parler des livres "Les Enfants de la Terre" (je lis clairement pas assez ) dont j'ai découvert l'existence en cherchant l'origine de ton pseudo

[JeromeC]

Boinc, ne se relance pas tout seul, mais du coup, ça me coûte autant que si ça travaille, alors que ça ne produit rien.
En fait, je ne sais pas si elle se remet en "open" si elle se coupe et redémarre là-bas ?

En fait ça ne m'est jamais arrivé, mais déjà sur la console vast sur ton instance tu as (rafraichis très souvent) l'indication de la conso de CPU et de GPU en cours (à la fois les petites barres bleues/rouges et en dessous dans la ligne de statut)

"GPU: 90% 62°C, CPU: 96.1%, Status: success, running vastai/base-image_cuda-12.6.3-auto/jupyter"

Après je ne sais plus si j'ai expliqué comment ajouter le port 31416 pour accéder à boinc depuis son BoincTasks préféré (ou autre) : il faut faire son propre clone du templats NVIDIA CUDA et la seule chose à modifier dedans (mode édition avec le crayon) c'est "-p 31416:31416 " au début de la longue chaine de paramètre "docker options", moi j'ai nommé ma copie du template "NVIDIA CUDA avec 31416" et je l'utilise tout le temps.

Le principe est qu'il va assigner un port aléatoire qu'il va mapper sur le 31416. A chaque fois que je créée une nouvelle instance avec mon template je clique sur l'IP bleue de la machine, il ouvre une fenêtre avec tous les ports actifs et je vois le numéro de port réellement affecté :

"xxx.xxx.xxx.xxx:yyyyy -> 31416/tcp"

c'est ce yyyy que je n'ai plus qu'à paramétrer dans mon BoincTasks quand j'ajoute cette machine avec avec son IP, et ça marche. Enfin, ça marche pas trop mal : j'ai souvent des pertes de connexion, mais ça revient.

Je précise que mon choix est de paramétrer boinc avec un mot de passe dans gui_rpc_auth.cfg et je mets <allow_remote_gui_rpc>1</allow_remote_gui_rpc dans le <options> du cc_config.xml (plutôt que de mettre l'IP autorisée dans le remote_hosts.cfg, mais ça doit pouvoir marcher aussi).

Mais le plus stable reste la connexion SSH directe depuis mon mac, toujours très simple à mettre en place puisque il donne le chaine de connexion quand tu cliques sur le bouton "clé" (direct SSH connect), après avoir mis en place sa clé privée sur sa machine principale + configuré la clé publique dans son compte vast.

Il m'est arrivé d'utiliser le terminal Jupyter depuis un navigateur web, ça marche pas mal. 

J'ai aussi les dernières 24 heures d'activités de mes machines dans mon compte WUProp.

Il y a donc quand même beaucoup de moyens de savoir que la machine n'est pas en carafe...

[[AF>Amis des Lapins] Jean-Luc]

Excuse-moi Jerome, mais là, tu m'as perdu !

 

[JeromeC]

Je donnais diverses pistes pour suivre l'activité de la machine et ne pas avoir de doute sur "elle tourne ou pas"

Le plus simple du plus simple, c'est regarder la console vast (page instance) et tu as le % d'occupation CPU et GPU mis à jour très fréquemment. Donc tu sais de suite si ton boinc tourne toujours, ou pas.

Et sinon c'est être connecté à la VM par divers moyen de ton choix (session SSH, session jupyter, connexion distante avec un BoincTasks ou un Boinc Manager) et faire le bon vieux micro-management habituel

[[AF>Amis des Lapins] Jean-Luc]

COMPARAISON DES PRIX DU CALCUL A DOMICILE ET SUR VAST

Pour ces évaluations du coût mensuel des calculs, nous allons prendre comme GPU de référence une RTX 4090.
Et nous allons supposer qu'elle consomme 400 W et qu'elle fonctionne 24/24, 365/365.


1) Prix du mois de calcul sur vast avec RTX 4090.

Très facile, car ici, tout est compté dans le prix affiché : électricité, amortissement du matériel et autre s'il y a.
Le record du prix le plus bas que j'ai remarqué pour une instance avec une seule RTX 4090 est de 0.236 dollars par heure.
Cela représente un coût mensuel à un dollar près de 0.236 * 24 * 31 = 176 $
Il reste donc à convertir en € d'où,

Prix du mois de calcul sur vast avec RTX 4090 : 150 €


2) Prix du mois de calcul à domicile avec RTX 4090.

Cela est plus compliqué.
Pour le courant électrique, soit le prix du kilowatt.heure : 0.2 € TTC.
Pomper 400 W (donc 0.4 kW) pendant 31 jours revient à consommer 31 * 24 * 0.4 = 298 kw.h.
Cela revient à dépenser environ 298 * 0.2 = 60 €.
Mais attention, il faut rajouter l'amortissement de la GPU non négligeable.
La RTX 4090 coûte 1600€, c'est difficile de trouver mieux.
Si sa durée de vie est 3 ans, soit 36 mois, ce que me montre mon expérience, cela nous donne un coût mensuel de 1600 / 36 = 44 €.
Si je mets tout cela dans un ordinateur à 2000 € qui claque au bout de 10 ans, soit 120 mois, cela me rajoute environ pour chaque mois 2000 / 120 = 15 €.
Donc au total, si j'additionne (60 + 44 + 15), on a,

Prix du mois de calcul à domicile avec RTX 4090 : 119 €

Mais peut-être ne faut-il pas rajouter les 15 € de l'amortissement mensuel de l'ordinateur, car l'ordinateur fait bien plus que seulement faire tourner la GPU ?

Je vous remercie de me signaler toute erreur dans mon raisonnement ou tout oubli pour mes calculs ou de faire toute remarque pouvant me faire avancer sur la question.


Conclusion :

150 € sur vast contre 119 € à domicile (en tout cas plus de 100 €, même si on ne compte pas l'amortissement de l'ordinateur).
Mais il faut aussi compter les nuisances pour le calcul à domicile : bruit, chaleur en été.
La location sur vast me parait être quelque chose de raisonnable à condition de sélectionner une instance à prix très bas, ce qui peut demander de la patience !

[Maeda]

Merci de t'être penché sur ce calcul !

Pourquoi tu divises par trois dans le calcul à domicile ?

cela me rajoute environ 2000 / 120 / 3 = 5 €.
Donc au total, si j'additionne (60 + 44 + 5)

Quoi qu'il arrive ça coûtera 44€ par mois si elles claquent (théorie) toutes au bout de 3 ans (et donc rachat pour 3 ans, donc toujours 44€ / mois).

[[AF>Amis des Lapins] Jean-Luc]

Tu as raison pour les GPUs.
Mais les 2000 €, c'est le coût de la machine hors GPU qui a une durée de vie de 10 ans environ.
Mais je ne dois peut-être pas diviser par 3.
Je corrige.

[JeromeC]

Sauf que je n'envisage absolument pas vast comme du long terme, ça permet de louer très facilement des trucs sérieux sur de courtes durées, rien de comparable avec la même chose à la maison (que je n'achèterai pas), pas de notion d'amortissement, un usage à la fois simple et efficace à des prix qui me paraissent très compétitifs.

Je ne rentre évidemment pas dans la case "cruncheur qui se monte des configs de crunch", donc je suis biaisé ton calcul reste intéressant.

Mais tu as juste démontré que c'est plus cher de louer que d'acheter, normalement c'est le principe de la location, sinon y'aurait pas de loueurs

[[AF>Amis des Lapins] Jean-Luc]

Oui, c'est plus cher de louer et c'est normal.
Mais je pensais le ratio proche de 2.
Or, il est peut-être plus proche 1.25.

[JeromeC]

Ça en fait donc une solution vraiment intéressante, mais pas pour du long terme où l'achat sera (a priori) toujours plus intéressant...

Après tu pars du principe que ton GPU va vraiment fonctionner 3 ans (à fond) et ton ordi 10 ans (à fond), et c'est pas forcément une certitude

Avec vast le facteur risque est nul : ça explose, t'en prends un autre, c'est le loueur qui prend le risque.

[Maeda]

Oui c'est pour ça que je rejoins aussi JL, les avantages liés à la location penchent plus fortement dans la balance, l'écart de coût n'étant pas autant que je le pensais (beaucoup de souci en moins avec la location, facile à "arrêter", pas de matos sur les bras, etc.).

On peut d'ailleurs réfléchir au fait de prendre des GPU légèrement moins bas de gamme que la 4090 et les doubler, possible que le ratio soit encore un peu plus proche de 1 (je suppose que plus on prend des GPU haut de gamme plus ça coûte cher !).

Après je me posais aussi la question de savoir s'ils ne donnaient pas des GPU "partagés" et qu'au final on ne serait pas au niveau d'une 4090 (pour l'exemple) chez soi à fond. Mais je crois que vous avez déjà testé et les perfs sont bien au RDV.

[JeromeC]

Autant pour les CPU je connais, mais je savais pas qu'on pouvait "partager" un GPU, ni comment : ou alors tu veux dire "dans le temps" ? genre une heure pour toi et une heure pour moi ? parce que sinon plusieurs en même temps à utiliser un même GPU, j'imagine assez mal...

[[AF>Amis des Lapins] Jean-Luc]

On peut d'ailleurs réfléchir au fait de prendre des GPU légèrement moins bas de gamme que la 4090 et les doubler, possible que le ratio soit encore un peu plus proche de 1 (je suppose que plus on prend des GPU haut de gamme plus ça coûte cher !).

Je vais aussi regarder cela de près dans les prochains temps.
Mais je surveille déjà depuis plusieurs jours.
A priori, le meilleur rapport actuel (puissance calcul)/(coût), c'est avec la 4090.
Si tu doubles par exemple des RTX 5070 Ti (puissance équivalente à une 4090), cela restera toujours plus cher qu'une 4090.
Et si tu prends une 5090, c'est au bas mot deux fois plus cher qu'une 4090 pou 40% de puissance de calcul en plus.
SAUF QUE, ces derniers temps, j'ai vu des instances avec des 5090 qui commençaient à talonner des près les 4090 !
Mais tout cela est très logique : les GPU les plus récentes consomment forcément moins de watts par calcul effectué.
Et donc, elles surpassent forcément les anciennes.

Et le meilleur compromis est de prendre une double instance de 4090 : c'est un peu moins cher par GPU que pour des instances à 1 ou à 4 (ou plus) de GPUs.
Mais il faut avoir les moyens !

Après je me posais aussi la question de savoir s'ils ne donnaient pas des GPU "partagés" et qu'au final on ne serait pas au niveau d'une 4090 (pour l'exemple) chez soi à fond. Mais je crois que vous avez déjà testé et les perfs sont bien au RDV.

Nan, nan : les CPUs sont partagées, mais pas les GPUs.
C'est 100% de puissance tout le temps.
Je suis en train de faire un essai à long terme avec SRBase, qui sollicite très fortement les GPUs.
Pas de faux pas pour le moment.
C'est 136 secondes par WU et ça ronronne comme une horloge !

Ça en fait donc une solution vraiment intéressante, mais pas pour du long terme où l'achat sera (a priori) toujours plus intéressant...

Pour moi, j'envisage pour le long terme, car chez-moi, je suis au taquet niveau chaleur !

Et je me suis fixé un objectif complètement dingue qui me tient à cœur beaucoup plus que les objectifs annuels que nous nous fixons à toutes les fêtes du Nouvel An :
Faut que je trouve un MegaPrime de plus de 6 millions de chiffres avant le 31 décembre 2029 à 19h59'59''.
Et de plus de 13 millions de chiffres avant le 31/12/2034, même heure !
Une seule solution : vast.

Oui, oui, je sais : je suis givré !
Givré mais bien chauffé... par les GPUs !

[JeromeC]

Et je me suis fixé un objectif complètement dingue qui me tient à cœur beaucoup plus que les objectifs annuels que nous nous fixons tous les Nouvel an :
Faut que je trouve un MegaPrime de plus de 6 millions de chiffres avant le 31 décembre 2029 à 19h59'59''.
Et de plus de 13 millions de chiffres avant le 31/12/2034, même heure !

C'est beau de se fixer des objectifs et alors pour 2034 !!!

Moi je sais pas encore vraiment où on va passer les vacances en famille première quinzaine d'août

[[AF>Amis des Lapins] Jean-Luc]

Ça va être très très dur et ça va me coûter du pognon.
Mais je compte beaucoup sur les progrès des GPUs !