Sujet: GPUGrid

[[AF>Libristes] alain65]

Je viens de recevoir 2 unités de travail, la 1ère en CUDA 11.21 et la 2ème en CUDA 10.1:

Moi aussi mais les 2 en 101. 28% de fait ça se passe bien :



Il y a deux jour c'était un lot "foireux" ...

[fzs600]

Chez moi ça se passe plutôt bien.

State: Tous (7) · En cours (6) · En attente (0) · Valide (1) · Invalide (0) · Erreur (0)

26 Nov 2021 | 21:48:20 UTC    27 Nov 2021 | 5:20:55 UTC    Terminé et validé    26,888.58    26,246.41    420,000.00    New version of ACEMD v2.19 (cuda101)

[Yeux]

Il faut la version 7.16.20 de Boinc, sinon impossible d'ajouter le projet.

 

[[AF] fansyl]

26 Nov 2021 | 21:48:20 UTC    27 Nov 2021 | 5:20:55 UTC    Terminé et validé    26,888.58    26,246.41    420,000.00    New version of ACEMD v2.19 (cuda101)

Wahou !! 7h pour plier cette UT, quelle carte ?

 

[fzs600]

26 Nov 2021 | 21:48:20 UTC    27 Nov 2021 | 5:20:55 UTC    Terminé et validé    26,888.58    26,246.41    420,000.00    New version of ACEMD v2.19 (cuda101)

Wahou !! 7h pour plier cette UT, quelle carte ?

 

GenuineIntel
Intel(R) Xeon(R) CPU E5-2695 v3 @ 2.30GHz [Family 6 Model 63 Stepping 2]
(56 processeurs)    NVIDIA GeForce RTX 2080 Ti (4095MB) driver: 460.91    Linux Ubuntu
Ubuntu 20.04.3 LTS [5.11.0-41-generic|libc 2.31 (Ubuntu GLIBC 2.31-0ubuntu9.3)]

[[AF>Libristes] alain65]

Bonjour à tous 

Mes taches terminées ne partent pas. Elles restent en "envoi en cours":

Extrait du journal.

Code: [Sélectionner]

dim. 28 nov. 2021 03:15:03 CET | GPUGRID | Started upload of e1s146_0-ADRIA_BanditGPCR_APJ_b0-0-1-RND6366_0_0
dim. 28 nov. 2021 03:15:03 CET | GPUGRID | Started upload of e1s146_0-ADRIA_BanditGPCR_APJ_b0-0-1-RND6366_0_1
dim. 28 nov. 2021 03:15:04 CET |  | Project communication failed: attempting access to reference site
dim. 28 nov. 2021 03:15:04 CET | GPUGRID | Temporarily failed upload of e1s146_0-ADRIA_BanditGPCR_APJ_b0-0-1-RND6366_0_0: transient HTTP error
dim. 28 nov. 2021 03:15:04 CET | GPUGRID | Backing off 00:07:37 on upload of e1s146_0-ADRIA_BanditGPCR_APJ_b0-0-1-RND6366_0_0
dim. 28 nov. 2021 03:15:04 CET | GPUGRID | Temporarily failed upload of e1s146_0-ADRIA_BanditGPCR_APJ_b0-0-1-RND6366_0_1: transient HTTP error
dim. 28 nov. 2021 03:15:04 CET | GPUGRID | Backing off 00:06:27 on upload of e1s146_0-ADRIA_BanditGPCR_APJ_b0-0-1-RND6366_0_1
dim. 28 nov. 2021 03:15:05 CET |  | Internet access OK - project servers may be temporarily down.

Pourtant sur le site tous les serveurs sont OK.

Quelqu'un a t'il ce problème?

[[AF] fansyl]

28/11/2021 10:15:13 | GPUGRID | Scheduler request failed: Peer certificate cannot be authenticated with given CA certificates

Le site Web présente aussi un problème de certificat, normalement, ça devrait se résoudre rapidement ce genre de problème.

 

[Yeux]

1ere unité en "Computation error" après 12 heures de calculs, c'est très mal reparti...

En plus le renvoi de l'unité en erreur ne fonctionne pas...

2eme unité pas d'erreur après 23 heures de calculs, mais impossible de renvoyer le résultat...

Suppression de gpugrid pour moi.

 

[Alan St-Pierre]

Est-ce juste moi ou ceci n'est pas normal? (en pièce jointe) 

[JeromeC]

Je suppose que c'est assez normal quand le projet n'a plus de tâches à traiter ? (et très peu en cours)

Il est temps de basculer sur Amicable pour nous aider au FB 2021

[[AF] fansyl]

Oui GPUGrid est régulièrement à sec car une unité doit être calculée et renvoyée pour pouvoir générer la suivante. En tous cas, c'était vrai pour les précédentes tâches, je ne sais pas si ça l'est encore aujourd'hui, je le suppose. Il faut laisser les vannes ouvertes avec un projet de secours et normalement, Boinc Manager finit par choper des unités.

Ce projet de secours pourrait être Amicable comme le suggère JeromeC mais je pense que cela va être difficile car une unité prend plusieurs Go de RAM pour le calcul. Avec des configs à 16Go, ça risque de coincer très rapidement... 

Primegrid, Collatz ou d'autres encore me paraissent plus adaptés.

 

[JeromeC]

Bah dans les [petits outils sympatoches dont nous parlons en Z51] avec 12 Go de RAM ça passe.

Tu parles de RAM générale, n'est-ce pas ? ou de mémoire GPU ?

[[AF] fansyl]

Je viens de toucher des unités "Anaconda Python 3 Environment" sur des machines Ubuntu.

Pour le moment, ça se passe bien malgré l'utilisation de 8 threads au lieu des 4 annoncés, environ 20Go d'espace disque occupé et les 750Mo de RAM utilisés (7Go virtuel).

J'espère pouvoir renvoyer les unités dans les temps, ce qui n'est pas sûr.

 

[toTOW]

Ca sent la VM ça ...

[[AF] fansyl]

Anaconda n'est pas vraiment une VM à proprement parlé, c'est plutôt un environnement d’exécution, en théorie plus léger qu'une VM.

https://fr.wikipedia.org/wiki/Anaconda_(distribution_Python)

M'enfin les temps d’exécution deviennent affreusement longs pour ces UTs donc je ne suis pas sûr que ça se termine en succès 

 

[JeromeC]

Il manque une ) à ton lien (tu l'as sorti de l'URL) : https://fr.wikipedia.org/wiki/Anaconda_(distribution_Python)

De ce que je lis c'est surtout une "distribution de python" (et R) avec des outils et pas vraiment un "environnement d'exécution".

L'article en anglais est bien plus touffu.

Pour GPUGrid, ils ont peut-être utilisé ça pour faire leur appli en python, ce qui n'empêche pas de faire appel à de la VM dedans (ex rosetta).

[fzs600]

ACEMD 4
https://www.gpugrid.net/forum_thread.php?id=5305&nowrap=true#58395

Bonjour à tous,

Vous avez probablement remarqué la nouvelle application ACEMD 4 et vous vous posez quelques questions.
    Quelle est la différence entre ACEMD 3 et ACEMD 4 ?
    L'une des principales nouveautés est l'intégration de l'apprentissage automatique dans les simulations moléculaires. Plus précisément, nous mettons en œuvre une nouvelle méthode appelée NNP/MM.
    Qu'est-ce que NNP/MM ?
    NNP/MM est une méthode de simulation hybride combinant les potentiels de réseaux neuronaux (NNP) et la mécanique moléculaire (MM). Le NNP peut modéliser les interactions moléculaires avec plus de précision que les champs de force conventionnels de la MM, mais il n'est toujours pas aussi rapide que la MM. Ainsi, seule la partie importante d'un système moléculaire est simulée avec la NNP, tandis que le reste est simulé avec la MM. Vous pouvez en savoir plus dans une préimpression de l'article NNP/MM : https://arxiv.org/abs/2201.08110.
    Dans quelle mesure NNP est-il plus précis ?
    Vous pouvez lire une préimpression de l'article TorchMD-NET : https://arxiv.org/abs/2202.02541.
    Quelles sont les exigences logicielles et matérielles pour ACEMD 4 ?
    Ils sont à peu près les mêmes que pour ACEMD 3, le seul changement significatif étant la taille de la pile logicielle. ACEMD 3 et toutes ses dépendances ne nécessitent que 1 Go, alors que pour ACEMD 4, ce chiffre est passé à 3 Go, notamment en raison de PyTorch (https://pytorch.org). De plus, pour l'instant, seule la version Linux pour CUDA >=11.2 est disponible.
    Quand ACEMD 3 sera-t-il remplacé par ACEMD 4 ?
    Dans quelques mois, nous publierons officiellement ACEMD 4 et ACEMD 3 sera déprécié. Pendant un moment, les deux applications coexisteront et vous recevrez des WUs pour les deux.
    Que se passera-t-il ensuite ?
    Nous avons déjà envoyé plusieurs WUs pour tester le déploiement d'ACEMD 4 et nous continuerons cette semaine. Faites-nous savoir si vous remarquez des irrégularités. La semaine prochaine, nous avons l'intention de commencer à envoyer des WUs de production.
Bon travail,

Traduit avec www.DeepL.com/Translator (version gratuite)

[Yeux]

On se demande pourquoi le projet est ouvert à tous, vu qu'il y 5 unités à calculer en ce moment, et que la plupart du temps le serveur est vide...

Python apps for GPU hosts beta   5   0   0.00 (0.00 - 0.00)   0

 

[JeromeC]

C'est moi qui rêve ou c'est un peu le bordel leur gestion des applis et des versions ?

"Advanced molecular dynamics simulations for GPUs" y est 2 fois, avec la même version de cuda mais 2 versions différentes

Linux running on an AMD x86_64 or Intel EM64T CPU   2.19 (cuda1121)   10 Nov 2021 | 11:17:13 UTC

mais aussi

Linux running on an AMD x86_64 or Intel EM64T CPU   1.02 (cuda1121)   2 Mar 2022 | 17:14:47 UTC

et dans le server status aussi il y est 2 fois (même nom), les deux avec 8 tâches en attente...

Et ça n'est pas non plus l'appli python qui a ses propres dénomination "Python apps for GPU hosts", avec une version "prod" v4.01 en cuda1121

Linux running on an AMD x86_64 or Intel EM64T CPU   4.01 (cuda1121)   27 Oct 2021 | 15:29:15 UTC

et une version "test" v1.00 cuda102...

Linux running on an AMD x86_64 or Intel EM64T CPU   1.00 (cuda102)   24 Feb 2022 | 11:41:40 UTC

toute ceci alors que la nouvelle ne parle que d'une appli python.....

Et linux only, bien pratique tout ça 

[franky82]

Un tas d'UT disponible GPU Cuda (nVidia) pour Windows et Linux : https://www.gpugrid.net/server_status.php
Dépêchez-vous !
https://www.gpugrid.net/apps.php

[JeromeC]

Ah oui tu fais bien de le rappeler : il n'y a QUE du cuda en plus, limitation maximale des possibles en GPU !!

[[AF>Amis des Lapins] Jean-Luc]

Rien à faire, je ne chope rien depuis plusieurs jours que j'ai ouvert les vannes !

[fzs600]

Jusqu'au bout et sans erreur. 

3 Apr 2022 | 10:29:18 UTC    5 Apr 2022 | 8:07:55 UTC    Terminé et validé    358,167.30    358,167.30    62,500.00    Python apps for GPU hosts beta v1.10 (cuda102)

[[AF] fansyl]

Chez moi aussi, une UT OK sur ma GTX970 ! 

[[AF>Libristes] alain65]

hello 

GPUGRID: Notice from server
Python apps for GPU hosts beta needs 20738.84MB more disk space. You currently have 7871.39 MB available and it needs 28610.23 MB.

Mais c'est énorme! 

Ma partition racine fait a peine plus...