The Science Cloud / vast.ai

[PhilTheNet]

Ok pour le paiement Thks

Si une instance est interrompue il faut la scratcher (pour éviter semble-t-il des frais de stockage) ou on peut attendre sa réactivation ?

 

[Maeda]

Les frais de "stockage" sont normalement très légers donc tu peux attendre mais oui si tu veux stopper les frais il faut détruire complètement tes instances.

[PhilTheNet]

Ok thks

J'ai mis quelques € et je wait une machine pas trop chère pour faire mes premiers tests 

[JeromeC]

Y'a des tonnes de machines pas chères, si tu veux juste tester y'a plein de vieux GPU pouraves qui t'attendent

[[AF>Amis des Lapins] Jean-Luc]

Je te conseille les GPU de l'Alberta Canada, Datacenter 18.
Celles-ci ne sont pas pouraves !

[PhilTheNet]

J'ai pris une RTX3060 au Quebec (pas cher) pour faire mes premiers test 

C'est pas extraordinaire mais pour commencer c'est mieux que ma vieille 750ti

[[CSF] Christian Carquillat]

J'ai pris une RTX3060 au Quebec (pas cher) pour faire mes premiers test 

C'est pas extraordinaire mais pour commencer c'est mieux que ma vieille 750ti

J'imagine qu'à force de voir des stats de 4090 et 5090 par ici ça semble ridicule

Je n'ai plus trop envie de m'acharner à faire un upgrade de GPU pour le moment

[JeromeC]

Bon ben ça commence fort, à la mise en place automatique de l'instance j'ai eu

Status: Error response from daemon: --storage-opt is supported only for overlay over xfs with 'pquota' mount option

Current Status: Loading  Intended Status: Stopped

Bref j'ai mis l'instance à la benne (mais en causant au support j'ai appris qu'on peut signaler les instances qui ont des problèmes avec le petit drapeau, ce que j'ai fait) et j'ai pris une autre avec un bon vieux Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz + NVIDIA GeForce RTX 3090 apacher (du tout), basée en Chine (oui je sais c'est pas bien), la bande passante internet est minable mais ça fait le taff, il crunche.


Edith : purée de purée faut toujours penser à lancer le benchmark !!

Avant :
Vitesse mesurée pour les calculs en virgule flottante   1000 million d'opérations/sec
Vitesse mesurée pour les calculs en nombres entiers   1000 million d'opérations/sec

Après :
Vitesse mesurée pour les calculs en virgule flottante   4682.01 million d'opérations/sec
Vitesse mesurée pour les calculs en nombres entiers   76213.5 million d'opérations/sec


Edith 2 : quand je disais que le réseau est pas foudre de guerre j'avais pas vu que sur la console vast on a la moyenne de l'instance

Up 37.4 Mbps = 4.6 Mo/s
Dwn 53.3 Mbps = 6.6 Mo/s

mais bon ça fait le taff, j'ai qu'à me remémorer l'époque de mon modem 33.6 Kb......

[PhilTheNet]

Plus ou moins la même config mais au Canada

Par contre avec 4.0/24 CPU ca arrête pas de se mettre en pause et de repartir au niveau CPU...
 

[Rhodan71]

j'ai testé les "Unverified Machines" (case à cocher sur la page de recherche), je suis plutôt satisfait du résultat : c'est souvent moins cher (que les "Verified") à perf équivalentes et pas eu de problèmes particuliers.
De toute façon au pire, comme on l'a déjà écrit ici, si une instance vrille à l'instanciation, c'est direct poubelle et en prendre une autre.

[[AF>Amis des Lapins] Jean-Luc]

Je n'y avais jamais pensé, merci pour le tuyau !
Cela semble effectivement un peu moins cher.
A voir s'il n'y a pas de nouveaux dysfonctionnements avec les unverified.
Mais en interruptibles, on dirait qu'il n'y en a pas.

[Rhodan71]

sur les "Unverified", je n'ai eu pour le moment que des problèmes à l'instanciation initiale :
- instance qui se crée mal (mais ça arrive aussi avec les "Verified Machines")
- impossibilité d'accéder à l'instance en SSH (connexion refusée ou en timeout). Jamais eu de problème avec les "Verified".

Il faut être un peu plus vigileant sur ces machines sur leurs caractéristiques : il faut un minimum de bande passante (upload/download) pour l'instanciation et BOINC, certaines machines sont au ras de paquerettes (j'ai vu du 9 Mbps/s en upload, soit à peine 1 Mo/s).

[toTOW]

j'ai testé les "Unverified Machines" (case à cocher sur la page de recherche), je suis plutôt satisfait du résultat : c'est souvent moins cher (que les "Verified") à perf équivalentes et pas eu de problèmes particuliers.
De toute façon au pire, comme on l'a déjà écrit ici, si une instance vrille à l'instanciation, c'est direct poubelle et en prendre une autre.

Je prends que de ça ... mais tu tombes parfois sur certaines qui marchent pas ...

[Rhodan71]

bon par contre, c'est relou de n'avoir que du Cuda : sur NumberFields, une 4080 Super de chez Vast sous Cuda calcule 25% plus lentement que ma 4070 Super sous OpenCL... 

[[AF>Amis des Lapins] Jean-Luc]

bon par contre, c'est relou de n'avoir que du Cuda : sur NumberFields, une 4080 Super de chez Vast sous Cuda calcule 25% plus lentement que ma 4070 Super sous OpenCL... 

Tente d'en mettre plusieurs en parallèle !

[JeromeC]

bon par contre, c'est relou de n'avoir que du Cuda : sur NumberFields, une 4080 Super de chez Vast sous Cuda calcule 25% plus lentement que ma 4070 Super sous OpenCL... 

Si tu cherches dans cette longue conversation, tu verras plus haut que j'ai expérimenté (il y a un moment), je me souviens plus du projet mais il n'avait pas d'appli cuda et que du OpenCL (numberfield ?), et dans un vast il a gentiment récupéré des tâches OpenCL et elles ont crunché nickel sur le GPU ! (et je suis bien sur le template vast cuda, avec une modifs perso du template pour brider la version en 12.6)

Après si un projet à les deux appli cuda et OpenCL + a bien du taff sur toutes ses applis proposées (c'est pas toujours le cas sur un même sous-projet) alors tu peux ptet essayer de forcer via un app_config pour récupérer que l'appli que tu veux ?

[Rhodan71]

ouaip, faudrait que je vois avec un app_config.xml

Sur NumberFields, sur mon PC Windows, j'ai de mémoire toujours eu de l'OpenCL.
Sur Moo!Wrapper, en général ça débute avec du CUDA, mais j'arrive finalement à avoir de l'OpenCL (plus rapide aussi que le CUDA).

Par contre, sur Linux, ça part direct sur du CUDA.

[JeromeC]

Le risque c'est qu'ils ne distribuent pas les tâches / appli de la même façon selon les OS. Je me souviens d'un projet X (que j'ai oublié ) où ils disaient qu'il y avait des tâches sur une appli Y qui existait pour Mac, j'étais allé ramener ma fraise en disant que y'avait rien et l'admin avait "ah oui en effet j'ai pas ouvert pour macOS atta je regarde" et il avait ouvert les vannes et j'avais eu des tâches... (mais ça, c'était un projet avec un admin réactif)

[Rhodan71]

pour NumberFields, je ne suis pas sûr qu'on puisse faire de l'OpenCL sous Linux :
- la liste des apps dispos montre bien une app opencl_nvidia sous Windows (celle qui tourne sur ma 4070 Super sous Windows), app qui n'existe pas sous Linux
- par contre sous Linux on a l'app cuda30, qui n'existe pas sous Windows...
- il y a 2 apps (dispos sous Windows & Linux) opencl_amd et opencl_intel_gpu, mais a priori pas utilisées dans mon cas

Et pas de bol, l'app cuda30 est nettement plus lente que la opencl... Une 4080 Super en cuda30 est 40% plus lente que ma 4070 Super en opencl_nvidia 
Bref, Vast pas gg pour NumberFields.

[JeromeC]

Alors l'exemple que j'évoque plus haut n'est pas numberfield (j'ai bien dit que j'étais pas sûr) car je suis 100% certain qu'il n'y avait *que* une appli OpenCL linux sur ce projet, et forcément NVidia aussi (c'était sur un vast) il faudrait reprendre la liste des sprint des 2/3 derniers mois pour trouver.

Mais en effet on dirait bien que y'a pas d'appli OpenCL linux pour NF.

[[AF>Amis des Lapins] Jean-Luc]

Après, moi j'ai un score pas possible sur NumberFields, mais ce n'est surtout pas avec des GPUs que j'en suis arrivé là.
Le programme GPU n'est pas bon pour Numberfields et offre peu d'avantages par rapport au CPU.
AMHA, mieux vaut garder le GPU pour cruncher sur des programmes qui sollicitent beaucoup plus la GPU.

[JeromeC]

On a déjà eu cette discussion, du moment qu'une appli GPU réduit le temps de calcul de façon *significative* (je sais pas si c'est le cas avec NF) par rapport à l'appli CPU, *pour ce projet (ou sous-projet) là* elle est intéressante : on est pas forcément intéressé à comparer les projets entre eux à tout prix et voir "où c'est le plus performant dans l'absolu" si ce qu'on faire c'est ce projet en question et pas un autre...

[[AF>Amis des Lapins] Jean-Luc]

Oui, OK, tu as raison.
Si tu veux à tout prix faire avancer un projet, il faut tout mettre dessus !