Le Forum de l'Alliance Francophone

Nouvelles:

  • Projet du Mois FB: Asteroids@home

Auteur Sujet: MT [AF>Libristes] : le topic  (Lu 635151 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2605
  •   
Réponse #4550 le: 02 March 2024 à 12:45
Le code HTTP 200 veut dire OK , es-tu sûr que c'est une erreur que tu obtiens ?

Le wget que tu testes qui fonctionne est sur le même système où le script s'exécute qui ne fonctionne pas ?

Suivant tes réponses aux questions ci-dessus : il semblerait que wget doit avoir le support SSL activé, peut-être ne l'est-il pas sur ton système ?
Quelle version de wget as-tu ?
wget -VSinon, force l'utilisation de l'HTTPS :
wget --secure-protocol TLSv2 TonLienHTTPS


Hors ligne [AF>Libristes] Dudumomo

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 6104
  •   
    • Find your home in Saigon
    • E-mail
Réponse #4551 le: 02 March 2024 à 15:34
Salut
Le SSL est bien actif et en fait ca me donne: HTTP Header error : HTTP/2 200, ce qui n'est pas tres clair, mais ca n'arrive pas a telecharger en HTTPS

debian@vps-ffbb369e:~$ wget -V
GNU Wget 1.21.3 built on linux-gnu.

-cares +digest -gpgme +https +ipv6 +iri +large-file -metalink +nls
+ntlm +opie +psl +ssl/gnutls

Wgetrc:
    /home/debian/.wgetrc (user)
    /etc/wgetrc (system)
Locale:
    /usr/share/locale
Compile:
    gcc -DHAVE_CONFIG_H -DSYSTEM_WGETRC="/etc/wgetrc"
    -DLOCALEDIR="/usr/share/locale" -I. -I../../src -I../lib
    -I../../lib -Wdate-time -D_FORTIFY_SOURCE=2
    -I/usr/include/p11-kit-1 -DHAVE_LIBGNUTLS -DNDEBUG -g -O2
    -ffile-prefix-map=/build/wget-z9r8qt/wget-1.21.3=.
    -fstack-protector-strong -Wformat -Werror=format-security
    -DNO_SSLv2 -D_FILE_OFFSET_BITS=64 -g -Wall
Link:
    gcc -I/usr/include/p11-kit-1 -DHAVE_LIBGNUTLS -DNDEBUG -g -O2
    -ffile-prefix-map=/build/wget-z9r8qt/wget-1.21.3=.
    -fstack-protector-strong -Wformat -Werror=format-security
    -DNO_SSLv2 -D_FILE_OFFSET_BITS=64 -g -Wall -Wl,-z,relro -Wl,-z,now
    -lpcre2-8 -luuid -lidn2 -lnettle -lgnutls -lz -lpsl ../lib/libgnu.a

Copyright (C) 2015 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://www.gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Originally written by Hrvoje Niksic <hniksic@xemacs.org>.
Please send bug reports and questions to <bug-wget@gnu.org>.

Le TLSv2 est invalide, mais en v1 je vais tester.
Edit: Pareil avec TLSv1
« Modifié: 03 March 2024 à 03:11 par [AF>Libristes] Dudumomo »

News & Tutorial on how to host your server: http://freedif.org


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2605
  •   
Réponse #4552 le: 03 March 2024 à 09:42
Tu confirmes donc que sur cette même machine, que se soit via le script ou via un wget manuel, le problème est identique (histoire d'écarter le script comme cause) ?

Essaie de voir le comportement (pour tester), en omettant le check du certificat (je suppose que ça fonctionnera) :
wget --no-check-certificate [...]
Essaie aussi un wget mais sur un tout autre fichier sur un autre site HTTPS.
« Modifié: 03 March 2024 à 09:44 par Maeda »



Hors ligne [AF>Libristes] Dudumomo

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 6104
  •   
    • Find your home in Saigon
    • E-mail
Réponse #4553 le: 03 March 2024 à 09:43
nan justement, en cli ca fonctionne bien, c'est avec le script...
Il a pourtant bien le --no-check-certificate

News & Tutorial on how to host your server: http://freedif.org


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2605
  •   
Réponse #4554 le: 03 March 2024 à 09:49
OK. Donc debug de script à faire :desole:. Il y a peut-être deux wget sur ton système (un compilé et un venant de la distribution) ?

Juste avant le wget dans ton script, fait un wget -V histoire de comparer si c'est bien le même qui est utilisé.

L'appel à wget dans le script est peut-être différent (surtout s'il s'exécute en root, car au lieu de /usb/bin/wget, il doit prendre /usr/sbin/wget ).


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4555 le: 11 March 2024 à 20:08
Amis linuxien, j'ai fait un constat alarmant sur asteroid

Je réalise que les tâches sur le VPS OVH debian 12 (AMD EPYC-Milan Processor [Family 25 Model 1 Stepping 1]) mettent 30-35 mn pour se terminer, et celles de la VM linux debian 12 de mon iMac (Intel(R) Core(TM) i9-10910 CPU @ 3.60GHz [Family 6 Model 165 Stepping 5]) elles mettent 1h50-2h...

Est-ce bien raisonnable ? :gno:

qui se confirme sur Gerasim : j'ai une VM debian 12 avec 10 threads dédiés à boinc dans mon mac

       _,met$$$$$gg.          jerome@debdeb
    ,g$$$$$$$$$$$$$$$P.       -------------
  ,g$$P"     """Y$$.".        OS: Debian GNU/Linux 12 (bookworm) x86_64
 ,$$P'              `$$$.     Host: Parallels Virtual Platform None
',$$P       ,ggs.     `$$b:   Kernel: 6.1.0-17-amd64
`d$$'     ,$P"'   .    $$$    Uptime: 28 days, 3 hours, 10 mins
 $$P      d$'     ,    $$P    Packages: 1701 (dpkg)
 $$:      $$.   -    ,d$$'    Shell: bash 5.2.15
 $$;      Y$b._   _,d$P'      Resolution: 1024x768
 Y$$.    `.`"Y$$$$P"'         DE: GNOME 43.9
 `$$b      "-.__              WM: Mutter
  `Y$$                        WM Theme: Adwaita
   `Y$$.                      Theme: Adwaita [GTK2/3]
     `$$b.                    Icons: Adwaita [GTK2/3]
       `Y$$b.                 Terminal: gnome-terminal
          `"Y$b._             CPU: Intel i9-10910 (10) @ 3.600GHz
              `"""            GPU: 01:00.0 Red Hat, Inc. Virtio 1.0 GPU
                              Memory: 1284MiB / 7933MiB

et un VPS debian 12 avec 4 coeurs

       _,met$$$$$gg.          jerome@VM-Debian-OVH2
    ,g$$$$$$$$$$$$$$$P.       ---------------------
  ,g$$P"     """Y$$.".        OS: Debian GNU/Linux 12 (bookworm) x86_64
 ,$$P'              `$$$.     Host: OpenStack Nova 19.3.2
',$$P       ,ggs.     `$$b:   Kernel: 6.1.0-16-cloud-amd64
`d$$'     ,$P"'   .    $$$    Uptime: 71 days, 2 hours
 $$P      d$'     ,    $$P    Packages: 508 (dpkg)
 $$:      $$.   -    ,d$$'    Shell: bash 5.2.15
 $$;      Y$b._   _,d$P'      Terminal: /dev/pts/0
 Y$$.    `.`"Y$$$$P"'         CPU: AMD EPYC-Milan (4) @ 2.295GHz
 `$$b      "-.__              GPU: 00:02.0 Cirrus Logic GD 5446
  `Y$$                        Memory: 296MiB / 3835MiB

et je réalise que les tâches sont beaucoup plus longues sur la VM dans mon mac que le VPS OVH.

Je sais bien qu'une VM dans un OS ça consomme des ressources, et que c'est moins performant que l'OS en natif sur une machine, mais selon moi ça perd genre 10/20% grand max de perfs : j'ai détaillé les durées moyennes de toutes les tâches des 2 projets sur les deux et je trouve un écart quand même très considérable (moyenne de durée significative car sur un nombre de tâches élevé dans le temps)

 
Capture d’écran 2024-03-11 à 20.05.33.png


Je précise que les deux faisaient le même projet au même moment (asteroid sur les 2, puis gerasim sur les 2) et ne font rien d'autre en même temps.

Pourtant la VM est très loin d'être saturée en RAM, le boinc de mon mac est réglé à 45% de CPU (sur 20 threads de mon i9) afin de laisser 10 threads complets à la VM, je n'imagine pas que le CPU OVH soit "tellement plus puissant" que le i9 du mac (c'est un VPS basique) donc je comprends pas.

Des idées ?
« Modifié: 11 March 2024 à 20:13 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF>Libristes] ElGuillermo

  • Boinc'eur Respectable
  • ****
  • Messages: 636
  •   
    • E-mail
Réponse #4556 le: 11 March 2024 à 23:36
Hello. Il faudrait mesurer "en vrai", mais je suppose que la VM partage les ressources CPU et que ton CPU n'est pas inactif sur l'hôte. Tente de le laisser tranquille pendant le calcul, pour voir ?



Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2605
  •   
Réponse #4557 le: 12 March 2024 à 07:19
Même si ce n'est pas très représentatif, que donne le test de puissance Boinc sur chacune des machines ? Juste pour avoir ce que Boinc voit.


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4558 le: 12 March 2024 à 10:23
VM sur mac

Measured floating point speed:   3,463.27 million ops/sec
Measured integer speed:   68,355.01 million ops/sec

VPS OVH

Measured floating point speed:   7,271.05 million ops/sec
Measured integer speed:   101,444.32 million ops/sec

C'est effectivement beaucoup plus gros sur OVH que le Mac... ??

Mais la proportion de l'écart est bien moindre que l'écart de temps moyen...

Il faudrait relancer le calcul de puissance sur la VM du mac ? ou cela n'impacte que les crédits ?

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4559 le: 12 March 2024 à 10:26
Hello. Il faudrait mesurer "en vrai", mais je suppose que la VM partage les ressources CPU et que ton CPU n'est pas inactif sur l'hôte. Tente de le laisser tranquille pendant le calcul, pour voir ?

90% de la journée le mac ne fait que du boinc... avec une portion gardée pour la VM (10 thread) et 9 threads pour macOS (qui fait aussi du boinc) et 1 thread non dédié à boinc (d'où les 45% réglés dans le boinc de macOS que je cite plus haut) pour qu'il souffle un peu : j'aime voir toujours un petit % idle qui me fait penser que "les autres processus de l'OS s'en sortent à peu près", sans que pour autant boinc passe son temps à réduire sa demande de ressources avec ses tâches en priorité basse (= je préfère savoir qu'une tâche boinc donnée a la plupart du temps tout un thread pour elle plutôt qu'un % variable de thread en permanence). Je sais bien que dans la vraie vie y'aura toujours des moments où diverses tâches de l'OS requièrent plus, mais je pense que sur la durée c'est pas plus mal.
« Modifié: 12 March 2024 à 10:29 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4560 le: 17 March 2024 à 12:17
J'ai fait un test.

J'ai relancé le test de puissance dans la VM debian de mon mac (donc je rappelle : 10 threads alloués à la VM et réglage de boinc dans le mac à 45% donc j'ai 9 tâches macOS qui tournent et un thread plus ou moins occupé par "le reste", en général plus que moins)

3525 floating point MIPS
68787 integer MIPS

puis j'ai mis boinc en pause sur le Mac (je voyais donc le CPU depuis le mac à 50% d'utilisation : que la VM debian qui tournait ) et j'ai relancé le test de puissance

7251 floating point MIPS
161548 integer MIPS

:eek: plus de double de puissance "vue depuis boinc" dans la VM ?? comment est-ce possible ?? oO

Puis j'ai relancé boinc sur le mac mais baissé l'usage CPU du mac à 40% (8 tâches tournent), retest de puissance dans la VM 

4088 floating point MIPS
74831 integer MIPS

Donc plus que la 1ère fois... ça n'a pas de sens ! je ne comprends pas.

On dirait que la VM a besoin d'utiliser de la puissance CPU "au delà" de l'allocation de threads que je lui laisse (réglage de la VM elle même) pour fonctionner "normalement" ??


J'ai fait le test inverse : je lance le test de puissance sur le boinc du mac (en laissant la VM tourner avec boinc en marche)

Dim 17 mar 12:07:03 2024 |  | 5270 floating point MIPS (Whetstone) per CPU
Dim 17 mar 12:07:03 2024 |  | 16483 integer MIPS (Dhrystone) per CPU

puis je mets boinc dans la VM en pause et je relance le test sur le mac

Dim 17 mar 12:09:08 2024 |  | 6839 floating point MIPS (Whetstone) per CPU
Dim 17 mar 12:09:08 2024 |  | 27184 integer MIPS (Dhrystone) per CPU

donc, alors que j'ai un % de CPU idle quand le boinc de la VM et le boinc du mac tournent (puisque je suis 40% réservé à boinc sur le mac) il a quand même plus de puissance visible si la VM ne fait rien !

Il y a quelque chose de très étrange du fonctionnement d'une VM, bien au delà de l'idée que "la VM consomme 'un peu' de ressources en plus (que ce qu'on lui alloue) pour pouvoir fonctionner", c'est pas "un peu" c'est "beaucoup" !!

En ce qui me concerne cela remet carrément en cause l'idée d'utiliser une VM pour faire du boinc en fait, ou alors il faut (= je dois) accepter une déperdition d'efficacité montreuse.


Vous avez des retours d'expérience de l'usage de VM sur vos machines, avec usage en partie sur l'OS hôte et sur un autre OS dans la VM ? (c'est tout l'intérêt, parce que sinon...)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne kasur

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 3169
  •   
    • E-mail
Réponse #4561 le: 18 March 2024 à 08:46
 :kookoo:

l'allocation de ressources ça à l'air complexe car j'ai l'impression qu'on ne peut pas forcer les choses, et comme la charge d'un Boinc va fluctuer pour pleins de raisons, et encore plus pour deux Boinc dans deux systèmes, il y a pleins de raisons que la VM se saborde.

Perso même pour émuler un système léger je trouve que ça galère aussi pour pas grand chose, et je préfèrerais encore partir sur un dual boot avec ses propres problèmes (donc au final un disque physique avec son propre système, même si ça doit être en USB).

Bon courage.


et 194 SETI@home classic workunits (4 764 hours) :p


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4562 le: 24 March 2024 à 12:12
Nan je veux pas de dual-boot à part pour quelques heures par semaines pour jouer à Diablo 4, et du coup quand je suis dessus (windows) je ne crunche jamais.

Sinon my system of choice c'est macOS et boinc n'est pas son seul usage, loin de là.

Je viens une nouvelle fois de constater la déplorable inefficacité (au delà du fait qu'elle me permet malgré tout de cruncher des projets sans appli mac) de la VM debian de mon Mac, suite au sprint SR-Base :

 
Capture d’écran 2024-03-24 à 12.06.17.png


On voit même que ça se dégradait de jour en jour ?!? hier avec 4 threads le petit VPS OVH a fait 103 tâches contre 57 pour la VM du mac avec 10 thread :eek:

Bon là j'ai rebasculé les 2 sur Gerasim (je vise les 10 patates vu le RAC de porc que ça a) mais c'est franchement à se demander s'il vaut mieux pas que j'arrête cette VM tellement les 4 petits threads du VPS OVH font mieux :gno:

(sachant que je ne veux pas cesser de faire tourner les autres thread macOS sur boinc complètement juste parce que je constate que ça rend plus efficace la VM debian... )
« Modifié: 24 March 2024 à 12:15 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4563 le: 01 April 2024 à 17:55
Découverte surprenante, malgré les stats misérable de la VM linux du mac vs le VPS OVH

 
Capture d’écran 2024-04-01 à 17.52.41.png


Je réalise qu'en terme de RAC le rapport n'est pas autant en défaveur de la VM du mac, loin de là !

 
Capture d’écran 2024-04-01 à 17.43.54.png


Comment expliquer telle diablerie ?
« Modifié: 01 April 2024 à 17:57 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF>Libristes] ElGuillermo

  • Boinc'eur Respectable
  • ****
  • Messages: 636
  •   
    • E-mail
Réponse #4564 le: 01 April 2024 à 17:57
T'as mesuré réellement le temps de calcul ? Histoire que ce soit pas un délire de mauvais calcul de temps de process sur la VM ?



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4565 le: 01 April 2024 à 18:01
Je copie l'historique des tâches depuis BoincTasks Js, y'a la durée de calcul nativement, je colle dans excel qui se charge du calcul de la moyenne de durée par jour (merci les tableaux croisés). Je vois pas comment BT garderait dans son historique un temps qui n'est pas le vrai ??

Instantané :

 
Capture d’écran 2024-04-01 à 18.02.46.png


Ca semble cohérent.
« Modifié: 01 April 2024 à 18:03 par JeromeC »

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF>Libristes] ElGuillermo

  • Boinc'eur Respectable
  • ****
  • Messages: 636
  •   
    • E-mail
Réponse #4566 le: 01 April 2024 à 18:03
Les temps CPU des VMs sont parfois étranges... En particulier sur les UT multithreadées. Sur mon 9900k, mêem avec l'hyperthreading éteint, je constate que les temps additionnés des 8 cores ne sont jamais à la hauteur du temps global. Pourtant : il calcule bien 8 fois plus vite qu'en monothreadé...
« Modifié: 01 April 2024 à 18:10 par [AF>Libristes] ElGuillermo »



Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4567 le: 01 April 2024 à 18:05
Et je précise : le VPS OVH c'est aussi une VM au final !

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne [AF>Libristes] ElGuillermo

  • Boinc'eur Respectable
  • ****
  • Messages: 636
  •   
    • E-mail
Réponse #4568 le: 01 April 2024 à 18:06
Clairement, te rends pas fou : tout ce qui compte, c'est le RAC... Si les UTs rapportent bien le même nombre de points (gaffe qu'il y ait pas des bonus de rapidité ou différents types d'UTs qui ne rapportent pas la même chose).



Hors ligne fzs600

  • Méchant modo
  • Boinc'eur devant l'éternel
  • ******
  • Messages: 7841
  •   
Réponse #4569 le: 01 April 2024 à 18:18


Utilisateur GNU-LINUX. fzs600@hub.g3l.org


Hors ligne modesti

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 19272
  •   
    • Brocantes en Bourbonnais
    • E-mail
Réponse #4570 le: 01 April 2024 à 18:32


Viendez chez nous, cause qu'on est les meilleur(e)s :D


In memoriam Jip - In memoriam Cocagne


Hors ligne JeromeC

  • CàA
  • Boinc'eur devant l'éternel
  • *****
  • Messages: 31411
  •   
Réponse #4571 le: 01 April 2024 à 23:24


(et ça fait bien longtemps)

A quoi bon prendre la vie au sérieux, puisque de toute façon nous n’en sortirons pas vivants ? (Alphonse Allais)



Hors ligne lepingouin

  • Boinc'eur Junior
  • **
  • Messages: 179
  •   
    • Ma météo
    • E-mail
Réponse #4572 le: 03 April 2024 à 09:03
Attention, des hostiles planquent des cochonneries dans les utilitaires. :cavachier:


Mon site : Météo amateur

“Rien n'est jamais perdu tant qu'il reste quelque chose à trouver.” Pierre Dac


Hors ligne Maeda

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 2605
  •   
Réponse #4573 le: 03 April 2024 à 09:58
Merci, j'avais une version 5.6.0 sur mon Arch (via paquet "xz"), j'ai mis à jour :kookoo:


Hors ligne kasur

  • Boinc'eur devant l'éternel
  • *****
  • Messages: 3169
  •   
    • E-mail
Réponse #4574 le: 03 April 2024 à 14:01
Un vrai film d'espionnage  :eek:


et 194 SETI@home classic workunits (4 764 hours) :p