Sujet: Moo! Wrapper

[naz]

Ça m'est arrivé d'avoir des bug par-ce-que java n'était pas à jour

[JeromeC]

Ben là il est ptet trop à jour alors

[[AF>Amis de la mer] Qingdan]

Ben là il est ptet trop à jour alors

Oui, mais aujourd'hui, je fais plus de point sur universe en CPU que sur Moo avec 2 GPU qui donnaient quotidiennement 3 à 5 fois plus.

[franky82]

Ben là il est ptet trop à jour alors

Pourtant l'OpenCL fonctionne bien avec d'autres projets, sans plantage sur les 2 GPU AMD et nVidia ! (avec mes drivers à jour)

[JeromeC]

[franky82]

J'ai trouvé le problème qui m'empêchait de cruncher les UT OpenCL sur mes GPU GTX 1070 et AMD RX Vega 64 / GTX 970 ! 
Sur mes 2 ordis Windows 10, j'utilise la suite antivirus (et plus) McAfee Total Protection,
- en cherchant sur le forum de MooWrapper, j'ai vu que certains avaient des problèmes avec McAfee,
- j'ai essayer de dire à McAfee de ne pas bloquer les EXE de MooWrapper mais ça n'a pas fonctionné,
- j'ai désactivé l'analyse en temps réel et là, miracle, les UT crunchent sans problème sur tous les GPU ! 

(Voilà pourquoi ça fonctionnait toujours sur le pangolin (pas d'antivirus))

Du coup, je vais cruncher MooWrapper 4 fois plus vite ! 

[toTOW]

Le client distributed.net qui tourne derrière Moo est parfois un peu têtu avec CUDA ou OpenCL ... parfois avec les logs BOINC sur les détails de la tache, on a des infos, mais souvent il vaut mieux essayer de lancer manuellement le client officiel pour avoir la vraie erreur.

edit : le serveur de Moo va essayer de trouver l'application la plus rapide, il va donc tenter l'application CUDA puis l'OpenCL ... suivant les résultats, il n'enverra plus que de celle qui va le plus vite.

Attention, Moo tape fort fans les GPU en OpenCL ... surveillez vos refroidissements/alimentations.

[franky82]

Je constate que sur mon ordi 2 GPU AMD RX Vega 64/GTX 970, les UT OpenCL mettent 45 à 50 mn, au lieu de 10 à 15 mn (estimation d'après les 9 à 10 mn sur 1080 et 1070) ! 

[JeromeC]

- j'ai désactivé l'analyse en temps réel et là, miracle, les UT crunchent sans problème sur tous les GPU ! 

(Voilà pourquoi ça fonctionnait toujours sur le pangolin (pas d'antivirus))

Je ne conçois pas d'utiliser une machine windows sans antivirus, mais certainement pas McAfee effectivement.

La première chose que j'ai faite quand j'ai mis en marche mon pangolin a été d'installer Avira, il ne m'a jamais gêné avec boinc et consomme fort peu de ressources.

A un moment il avait un des process de avira qui pompait trop de CPU à mon goût mais ce n'était pas le service antivirus principal alors je le killais et ça me laissait tranquille jusqu'au prochain reboot, et depuis quelques temps (= mise à jour avira) ça ne le fait plus du tout.

[toTOW]

Je constate que sur mon ordi 2 GPU AMD RX Vega 64/GTX 970, les UT OpenCL mettent 45 à 50 mn, au lieu de 10 à 15 mn (estimation d'après les 9 à 10 mn sur 1080 et 1070) ! 

C'est pas fou ... j'ai une 980 à 18-20 minutes par WUs ... une 10-11 minutes sur une 1070 et 8-9 sur une 1080 ...

Edit : applications OpenCL bien sur, en CUDA ça se traine beaucoup plus ...

[[AF>Amis de la mer] Qingdan]

Sur une Vega 64 tu devrais calculer bien plus vite que ça , je dirais dans les 10 mn voire moins.

Sur une 7950 je suis à 20/22 mn par unité et sur les RX 570 je suis à 14/15mn normalement.

Ca se voit que ça ne marchait pas du tout hier, je suis ce matin à 7h sur la même production de crédits qu'hier toute la journée.

J'ai viré les ut "buggées" et retéléchargé des nouvelles.  Puis mis à jour le pilote de la 7950 et ça a l'air de remarcher normalement.

[franky82]

J'ai réussi à baisser le temps de calcul sur mon ordi 2 GPU AMD RX Vega 64/GTX 970, les UT OpenCL mettent 30 à 35 mn...
puis, tout à coup, le GPU nVidia me charge du CUDA31 et là, presque 3h de calcul !? 

(à voir... j'ai arrêté le launcher Pangolin sur cet ordi et ça semblait prendre pas mal de ressources...)
( ah oui, et j'ai aussi supprimé l'affichage bi-écran que je n'utilisais plus ! )

[franky82]

ça ne s'arrange pas sur cet ordi bi-GPU mixte (AMD/nVidia) : les UT mettent toujours beaucoup de temps ! 

Comme je n'utilise plus cet ordi, pratiquement que pour cruncher, j'hésite à virer Windows et à installer Linux (Ubuntu / Debian... ?) mais je ne sais pas si les GPU seront reconnus facilement sous Ubuntu (noob en GPU sur Linux  )

[toTOW]

La cohabitation AMD/NV n'a jamais été très bonne ... d'ailleurs ça se passe comment, BOINC lance un unité pour les deux GPU ou deux unités ? Et du coup, si ça se trouve, tu as deux clients distributed.net qui tournent  en même temps qui utilisent chacun les deux GPU ... chez distributed.net, c'est le même client OpenCL pour AMD et NV.

[franky82]

1 UT par GPU mais en OpenCL (la plupart du temps, parfois Cuda pour nVidia) et c'est ce que j'avais pensé pour le partage de ressources de distributed.net 
C'est le seul projet OpenCL avec lequel j'ai des problèmes de lenteur...

PS : j'ai essayé Ubuntu mais les GPU ne sont pas reconnu par BOINC (et pas complètement par l'OS)...
et le script de compil BSF n'a pas reconnu mon OS (Ubuntu 18.04.3) 

[toTOW]

Si tu force BOINC à n'utiliser qu'un GPU en OpenCL (l'AMD coup), c'est pas mieux ? Il arrive pas utiliser les deux en même temps ?

[franky82]

Je tente de n'utiliser que le GPU AMD sur MooWrapper et remettre le nVidia sur GPUGrid (Cuda_101) :
je vais voir à la longue... Pour l'instant, c'est un peu plus rapide pour l'AMD (27 mn) mais ça pourrait être mieux ! 

(J'attends de pouvoir monter un nouvel ordi AMD (Threadripper 3990X + GPU AMD RX Vega 64) et ne laisser que le GPU nVidia GTX 970 sur cet ancien (voire remettre aussi ma GTX 770))

[franky82]

Nouveaux essais :
- désactivation de la carte GTX 970 : seule la RX Vega 64 crunche une UT en 6 mn ! 
- réactivation de la GTX sans UT : la RX Vega continue à fond
- nouvelle tâche GTX Cuda ou OenCL (plusieurs essais), RX Vega finit la tâche à fond et à la suivante, chute de l'activité
  puis, si arrêt d'UT GTX, activité GTX continue mais activité RX Vega ne reprend pas avec la tâche en cours...

Bref, je vais continuer le PFA (+ Action 1/2020) avec seulement la RX Vega pour cruncher au max ! 

(le plus bizarre, quand la GTX est désactivée, l'affichage se fait toujours sur l'écran branché sur celle-ci : heureusement car il n'y a pas d'écran branché sur la RX Vega)

[franky82]

Découverte dans le Stderr d'une tâche qui s'est finie en 27 mn sur RX Vega (avec les 2 GPU activés)

<core_client_version>7.14.2</core_client_version>
<![CDATA[
<stderr_txt>

21:43:57 (6332): wrapper v1.5 build 20 for AMD/ATI OpenCL starting (BOINC Wrapper v7.13.26016)
21:43:57 (6332): device: OpenCL: AMD/ATI GPU 0: Radeon RX Vega (driver version 3004.8 (PAL,HSAIL), device version OpenCL 2.0 AMD-APP (3004.8), 8176MB, 8176MB available, 13353 GFLOPS peak)
21:43:57 (6332): checkpoint interval: 0h15m00s00 (task 1162000 GFLOPS, 0h01m27s02 per packet)
21:43:57 (6332): wrapper: running dnetc521-win32-x86-opencl.exe (-ini dnetc.ini -runoffline -multiok=1) - attempt 1/10

dnetc v2.9112-521-CTR-16021317 for OpenCL on Win32 (WindowsNT 6.2).
Using email address (distributed.net ID) '<censored>      '

[Jan 23 20:43:58 UTC] Automatic processor type detection did not
                      recognize the processor (tag: "GeForce GTX 970 ")
[Jan 23 20:44:17 UTC] RC5-72: using core #3 (CL 4-pipe).
...

Il y a donc bien partage du calcul OpenCL sur les 2 cartes (même si la 2ème crunche sur autre chose) !?
D'où fort ralentissement !

#findestest

[toTOW]

Je m'en doutais ... la cohabitation AMD/NV, c'est souvent pas une bonne idée ..

[Davlabedave]

Salut,

Sur cette config
Win10 : vega64 + 3600X
0.125 CPU + 0.25 GPU ca me prend entre 18 et 24 min

Y'a aussi un linux sous VirtualBox avec 11 threads universe qui tourne en même temps sur cette meme machine

[toTOW]

Ca me parait bien lent ... ma 980M mets 24 minutes, tu devreais faire beaucoup mieux avec une Vega64

C'est mieux si tu mets le CPU au repos ? Si oui, essaye de libérer 2 threads pour le GPU.

[Davlabedave]

J'ai essayé plusieurs combinaisons et c'est la que j'obtiens les meilleur résultats (= le pc transpire en cpu et gpu)

4ut par gpu entre 18 et 24 minutes je trouvais pas ca si mal avec 11 threads universe virtualisés qui font entre 50min et 1H10

Une seul Ut (sans aucune modif app_config) avec la Vega64 profil équilibre c'est 6-7 minutes

[toTOW]

Aucun intérêt de faire tourner plus d'une UT Moo sur GPU, y'a pas plus efficace comme projet dans l'utilisation GPU (enfin surtout des SP).

[Davlabedave]

Config origine Moo (0.25CPU + 1 GPU)
6:05 + 6:34 + 6:33 + 6:05 + 6:36 + 6:20 + 6:37 + 6:30 = 51:20

Config Modif pour 4T = valeur config originale/4 : (0.06CPU + 0.25 GPU) En prenant le temps le plus mauvais sur les 2 séries de 4UT (pas favorable donc car 50% finissent avec une minute de moins voir 2)
23.39 + 23.54 = 47:33

Config avec plus de CPU que origine 4T: (0.125CPU + 0.25 GPU) Toujours en prenant le temps le plus mauvais sur les 2 séries de 4UT (pas favorable donc car 50% finissent avec une minute de moins voir 2)
22.33+22.29 = 45:02

Il y'a quand meme un petit gain