Le Forum de l'Alliance Francophone

Boinc et les projets distribués => Annonces sur Boinc et les projets => Boinc-projets terminés => Discussion démarrée par: fzs600 le 01 February 2017 à 11:30

Titre: [duchamp]Discussions sur duchamp
Posté par: fzs600 le 01 February 2017 à 11:30
                                                                                                                                                  (https://www.virtualbox.org/graphics/vbox_logo2_gradient.png)



Infos utiles.
Projet affilier a POGS.
The Duchamp Source Finder : http://www.atnf.csiro.au/people/Matthew.Whiting/Duchamp/ (http://www.atnf.csiro.au/people/Matthew.Whiting/Duchamp/)
En BETA TEST
Nécessite l'installation de virtualbox : https://www.virtualbox.org/ (https://www.virtualbox.org/)


Statut : Projet terminer
URL du projet : http://54.196.169.236/duchamp/ (http://54.196.169.236/duchamp/)
Application disponible : http://54.196.169.236/duchamp/apps.php (http://54.196.169.236/duchamp/apps.php)
État du serveur : http://54.196.169.236/duchamp/server_status.php (http://54.196.169.236/duchamp/server_status.php)
L'alliance francophone : http://54.196.169.236/duchamp/team_display.php?teamid=13 (http://54.196.169.236/duchamp/team_display.php?teamid=13) 
Classement mondial de L'af : pas de données


Résumé.
Sourcefinder consiste à tester les performances et la qualité de l'application Duchamp Sourcefinding. Nous avons construit un cube simulé du ciel contenant diverses sources radio, et c'est le travail de Duchamp de déterminer où se trouvent les sources. Nous projetons d'exécuter Duchamp sur l'ensemble du cube de données simulées pour chercher combien de sources radio dans le cube il peut trouver. Duchamp devra être en mesure d'identifier les sources correctes tout en gardant les faux positifs à un minimum.
Traduction JeromeC

Mis a jour par fzs600 le 14 avril 2020
Titre: Re : duchamp
Posté par: fzs600 le 01 February 2017 à 11:46
Pour le moment tout part en échec de téléchargement.
Citer
Feb 2017, 10:33:12 UTC    1 Feb 2017, 10:44:08 UTC    Error while downloading    0.00    0.00    ---    Duchamp Sourcefinder v1.00 (vbox64)
windows_x86_64
Titre: Re : duchamp
Posté par: fzs600 le 02 February 2017 à 20:45
Citer
2 Feb 2017, 12:42:17 UTC    2 Feb 2017, 18:29:15 UTC    Completed and validated    14,167.16    12,672.29    91.89    Duchamp Sourcefinder v1.00 (vbox64)
x86_64-pc-linux-gnu
Citer
2 Feb 2017, 12:42:17 UTC    2 Feb 2017, 18:30:05 UTC    Completed and validated    14,226.76    12,744.86    87.22    Duchamp Sourcefinder v1.00 (vbox64)
x86_64-pc-linux-gnu
Titre: Re : duchamp
Posté par: [AF>Libristes>Jip] Elgrande71 le 06 February 2017 à 20:26
Ca va mieux sous GNU/Linux  :D
Titre: Re : duchamp
Posté par: [AF>PlusCitoyen] Kether le 09 February 2017 à 22:40
 :hello:

10 équipes d'inscrites sur le projet à l"heure où j'écris - l'Alliance est attendue !

http://54.196.169.236/duchamp/top_teams.php (http://54.196.169.236/duchamp/top_teams.php)
Titre: Re : Re : duchamp
Posté par: fzs600 le 10 February 2017 à 07:20
:hello:

10 équipes d'inscrites sur le projet à l"heure où j'écris - l'Alliance est attendue !

http://54.196.169.236/duchamp/top_teams.php (http://54.196.169.236/duchamp/top_teams.php)
C'est bon Damien la fait.  :kookoo:
Titre: Re : duchamp
Posté par: JeromeC le 10 February 2017 à 14:42
Citer
Sourcefinder is about testing the performance and quality of the Duchamp Sourcefinding application. We've built a simulated cube of the sky containing various radio sources, and it's the job of Duchamp to work out where the sources are. We plan on running Duchamp over the whole cube of simulated data to work how many of the radio sources in the cube it can find. Duchamp will need to be able to identify correct sources while keeping false positives to a minimum.

As this project is in beta, we welcome any sort of feedback, advice, or bug reports. You can either make a post on the forums or send us an email at icrar.tsn.website@gmail.com . We're happy to hear from you.

Citer
Sourcefinder consiste à tester les performances et la qualité de l'application Duchamp Sourcefinding. Nous avons construit un cube simulé du ciel contenant diverses sources radio, et c'est le travail de Duchamp de déterminer où se trouvent les sources. Nous projetons d'exécuter Duchamp sur l'ensemble du cube de données simulées pour chercher combien de sources radio dans le cube il peut trouver. Duchamp devra être en mesure d'identifier les sources correctes tout en gardant les faux positifs à un minimum.

Comme ce projet est en version bêta, nous accueillons toute sorte de commentaires, de conseils ou de rapports de bogues. Vous pouvez soit faire un post sur les forums ou nous envoyer un courriel à icrar.tsn.website@gmail.com. Nous sommes heureux de vous entendre.
Titre: Re : duchamp
Posté par: JeromeC le 10 February 2017 à 14:46
Citer
We're back up.
Hi everyone,

I was in the process of expanding the main hard disk for the sourcefinder server, because the relatively small 50gb disk was no where near large enough to store all the required work units.
While I was attempting to expand the disk, I accidentally terminated the amazon server that ran Sourcefinder. This destroyed all data on the server and destroyed the server instance itself. This was a huge mistake on my behalf and I'm extremely sorry for this.
In the mean time I've been working hard to get a new server running, this time with a larger hard disk and termination protection so that my clumsy hands can't destroy it quite so easily.

I hope this hasn't been too much of an annoyance for many of you.

Sam

Citer
Nous sommes de retour.

Salut à tous,

J'étais dans le processus d'expansion du disque dur principal pour le serveur de sourcefinder, parce que le disque relativement petit de 50gb était loin d'être assez grand pour stocker toutes les unités de travail requises. Pendant que j'essayais d'étendre le disque, j'ai accidentellement terminé le serveur d'amazon où tourne Sourcefinder. Cela a détruit toutes les données sur le serveur et détruit l'instance de serveur elle-même. Ce fut une erreur énorme de ma part et je suis extrêmement désolé pour cela.

Dans le même temps, j'ai travaillé dur pour obtenir un nouveau serveur fonctionnel, cette fois avec un plus grand disque dur et une protection contre tout type de terminaison et que mes mains maladroites ne puissent pas le détruire si facilement.

J'espère que cela n'a pas été trop pénible pour vous.

Sam
Titre: Re : duchamp
Posté par: JeromeC le 10 February 2017 à 14:54
Ohhhh mais il déclare une appli Mac sur le site !! Il va falloir que je teste ça ! :)
Titre: Re : duchamp
Posté par: fzs600 le 15 February 2017 à 14:06
Bon voila après le crash du serveur c'est reparti.  :hyperbon:

Citer
15 Feb 2017, 5:30:35 UTC    15 Feb 2017, 11:03:40 UTC    Completed and validated    15,453.72    12,761.46    98.33    Duchamp Sourcefinder v2.00 (vbox64)
x86_64-pc-linux-gnu
 
Titre: Re : duchamp
Posté par: JeromeC le 15 February 2017 à 14:34
Bon pour l'instant des UT Mac il y en avait pas eu hein...
Titre: Re : duchamp
Posté par: PhilTheNet le 16 February 2017 à 15:01
Bon pour l'instant des UT Mac il y en avait pas eu hein...

J'en ai eu mais la première est bloquée à 100% depuis 1/2h après 1h de calcul...

Même chose pour les 2 UTs suiavntes...

 :kookoo:

Edit: la première s'est débloquée au bout de 2h30 à 100%
Terminé, en attente de validation    9,078.15    7,741.20    en attente    Duchamp Sourcefinder v2.00 (vbox64) x86_64-apple-darwin
Terminé et validé    9,042.49    7,731.64    82.44    Duchamp Sourcefinder v2.00 (vbox64) x86_64-apple-darwin
Titre: Re : duchamp
Posté par: JeromeC le 16 February 2017 à 15:04
C'est relou qu'aucun projet ne donne jamais le détail des UT distribuées par plateforme dans son "server status"...

Tiens nous au courant de la destinée de ton UT :)
Titre: Re : duchamp
Posté par: titidestroy le 16 February 2017 à 16:51
Mes 2 premières tâches en attente de validation
Titre: Re : duchamp
Posté par: PhilTheNet le 18 February 2017 à 07:59
J'ai un soucis avec ce projet sur win10 (sur osx pas de soucis 13 UTs validées) :

Quand j'arrive à chopper une UT j'ai ce msg:
Message du serveur: VirtualBox jobs require hardware acceleration support. Your processor does not support the required instruction set.

Alors que CPU-Z m'annonce bien VT-X présent (activé dans le bios) et que si je créé une machine virtuelle avec VirtualBox j'ai bien l'accélération matérielle de validée...
Instructions sets   MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, EM64T, VT-x, AVX, AVX2, FMA3

Une idée  :??:

Thks

Nota :
We recommend the VirtualBox version that is included in the recommended BOINC Windows installer, since newer VirtualBox versions do not work correctly for all projects.

Donc j'ai déinstallé la dernière version de VirtualBox et refait l'installation du package complet de Boinc

Pfff cette version de VirtualBox plante direct sur le Win10 (pb connu cf forum vb)  :priz2tet:

Nota 2 :
J'essaye de chopper des UTs VB sur LHC, ATLAS & RNA Pour voir si c'est DUCHAMP qui a un pb ou mon ordi mais nada de chez nada pas d'UTs envoyées........................., :cry:

Nota 3 :
Pb réglé grace au forum de Boinc Berkeley

 :gno:
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: PhilTheNet le 19 March 2017 à 08:06
Ce matin tous les downloads partent en erreur :

Erreur en cours de téléchargement (sens download)

 :/
Titre: Re : Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 19 March 2017 à 09:55
Ce matin tous les downloads partent en erreur :

Erreur en cours de téléchargement (sens download)

 :/
Chez moi ça fait 2 jours que c'est comme ça.  :cavapobienmwa:
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: PhilTheNet le 19 March 2017 à 10:31
Message posté sur leur forum

 :kookoo:
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: PhilTheNet le 23 March 2017 à 10:24
Bon maintenant j'ai les UTs qui se bloquent avec ce msg:

Reporté : VM job unmanageable, restarting later

Jeu 23 mar 10:21:07 2017 | duchamp | task postponed 86400.000000 sec: VM job unmanageable, restarting later.


 :/
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: JeromeC le 23 March 2017 à 21:50
J'ai en 4 qui sont restés comme ça quelques jours et elles ont fini par se débloquer toutes seules.

A moins que ce soient celles-ci en erreur (http://54.196.169.236/duchamp/results.php?hostid=228&offset=0&show_names=0&state=6&appid=) ? (mais ça parle d'une erreur de téléchargement...)

Mais vu que j'en ai d'autres qui sont retournées en OK (http://54.196.169.236/duchamp/results.php?hostid=228&offset=0&show_names=0&state=4&appid=) le même jour...
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: PhilTheNet le 24 March 2017 à 10:53
Effectivement ce matin une est repartie comme si de rien n'était...

 :D
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: JeromeC le 21 June 2017 à 22:56
EDIT : le 14/06 il y avait d'abord eu ce post

https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=206

Citer
681 Go en bas

Félicitations à tous, nous avons traité les premiers 681 Go de cubelets Sourcefinder!
Vous avez tous fait un travail incroyable jusqu'à présent, et tout le monde à TheSkyNet vous remercie.

Maintenant que nous avons traité une grande partie des données de cube simulées, je me concentrerai sur le développement de certains outils de visualisation pour permettre à tous de voir les sources qu'ils ont traitées. Cet outil va être intégré à theSkyNet.org.

Vous pourrez principalement sélectionner un cubelet et un ensemble de paramètres à afficher, et vous verrez apparaître les emplacements des sources dans ce cubelet avec le nom des utilisateurs qui ont trouvé les sources.
Je prévois également d'ajouter des statistiques de crédit de Sourcefinder à votre tableau de bord sur theSkyNet.org à un moment donné.

A ma connaissance, il devrait y avoir aussi environ 300 Go de données quelque part encore à traiter, car le supercube d'origine était d'environ 1 To de taille. Je crois que ces données n'ont pas été extraites du supercube pour une raison inconnue, alors je vais travailler à l'extraire.

Jusque-là, il n'y aura plus d'unités de travail Sourcefinder malheureusement.

Quoi qu'il en soit, je vous remercie encore une fois d'avoir crunché toutes ces données. J'espère que vous appréciez l'outil de visualisation lorsque j'ai fini de le construire :)


Donc la nouvelle nouvelle ci-dessous est d'autant plus bonne.

-------------------
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=207

Citer
Bientôt de vrais données !

Je viens de rentrer d'une réunion avec Kirsten, et j'ai de très bonnes nouvelles à partager avec tout le monde!

ASKAP (https://en.wikipedia.org/wiki/Australian_Square_Kilometre_Array_Pathfinder) [et ici (http://www.atnf.csiro.au/projects/askap/index.html)] a presque complété les observations de son premier cube de 500 Go, et nous allons le traiter lorsque ça sera fait!

L'exécution d'une application "sourcefinder" sur les données ASKAP n'a encore jamais été effectuée, ce sera une première mondiale.

Alors que nous attendons que ASKAP soit terminé, nous allons exécuter le super cube simulé à nouveau, cette fois en utilisant une nouvelle application source appelée SoFiA.

Nous allons examiner si SoFiA est mieux pour trouver des sources que Duchamp.

Une fois que nous aurons des données de Duchamp et SoFiA, je travaillerai sur la correspondance croisée des sources qu'ils ont trouvées avec le catalogue de sources d'origine, alors nous aurons une image claire de qui est le meilleur sourcefinder.

On me dit aussi qu'il y a de très grandes chances qu'un article soit écrit sur la comparaison entre Duchamp et SoFiA en tant que source, alors je serai sûr de vous tenir au courant si j'en entends plus à ce propos.

Enfin, il y a eu un problème de stockage de back-end avec certaines des données que nous avons traitées, et je devrai ré-exécuter quelques ensembles d'unités de travail, alors prévoyez-vous qu'un peu plus de travail arrivera bientôt.
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 19 July 2017 à 19:34
The future of Sourcefinder : http://54.196.169.236/duchamp/forum_thread.php?id=213&postid=688#688 (http://54.196.169.236/duchamp/forum_thread.php?id=213&postid=688#688)

Si quelqu'un estime que cela mérite une traduction qu'il en soit par avance remercier.  :jap:  :kookoo:
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 05 February 2018 à 18:40
 :hello:

Des BETA sont disponible sur le projet.
https://sourcefinder.theskynet.org/duchamp/server_status.php (https://sourcefinder.theskynet.org/duchamp/server_status.php)
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: modesti le 05 February 2018 à 20:01
Ne pas oublier de cocher la ligne qui va bien dans vos préférences sur le projet ;)
Titre: Re : Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 05 February 2018 à 20:07
Ne pas oublier de cocher la ligne qui va bien dans vos préférences sur le projet ;)
:chefouichef:
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: JeromeC le 06 February 2018 à 16:06
Vi c'est décoché par défaut.
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 28 February 2018 à 10:53
SoFiA Update 8 and some changes at ICRAR
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273&postid=1276#1276 (https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273&postid=1276#1276)
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: JeromeC le 01 March 2018 à 10:16
Purée j'en ai chopé un tas il y a quelques jours qui se sont lancées en même temps, ça a complètement saturé mes 16 Go avec 8 VM, il m'a fallu 1/2 heure pour pouvoir reprendre la main sur la pauvre machine, et me faire un ptit fichier config qui va bien pour éviter que ça se reproduise...
Titre: Re : Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 01 March 2018 à 10:47
Purée j'en ai chopé un tas il y a quelques jours qui se sont lancées en même temps, ça a complètement saturé mes 16 Go avec 8 VM, il m'a fallu 1/2 heure pour pouvoir reprendre la main sur la pauvre machine, et me faire un ptit fichier config qui va bien pour éviter que ça se reproduise...
Ça arrive  :D
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: JeromeC le 01 March 2018 à 22:43
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273#1276

Citer
Salut à tous,

Il s'est passé beaucoup de choses la semaine dernière à l'ICRAR, et j'ai beaucoup de choses à vous dire.

À l'origine, j'ai été engagé par Outreach pour travailler plus ou moins exclusivement sur SkyNet. En Mars de cette année, mon contrat est transféré à DIA (Data intensive astronomy), qui veulent que je travaille sur d'autres projets.

J'ai rencontré le directeur de DIA la semaine dernière et il a été décidé que, une fois les unités de 100 Mo terminées, je devrai boucler Sourcefinder et organiser toutes les données que nous avons recueillies jusqu'à présent en vue de l'analyse.

Gardant cela à l'esprit, mon nouveau plan est de continuer à exécuter des unités de travail de 100 Mo à travers l'application sofiabeta, car tout fonctionne plus ou moins bien en l'état. Sofiabeta restera une application bêta pour que les utilisateurs puissent choisir de se désinscrire, car les unités de travail de 100 Mo sont beaucoup plus intensives que les unités de travail de 10 Mo.

Ensuite, une fois que nous aurons terminé les unités de travail de 100 Mo, je passerai du temps à travailler sur une page de contributeurs publics qui répertoriera tous ceux qui ont contribué à Sourcefinder. Je vais aussi essayer de faire en sorte qu'un lien vers cette page soit présent dans le document final analysant les résultats. J'ai constaté qu'ils étaient généralement contre l'idée de mentionner une liste de contributeurs dans le document, mais ils pensaient que fournir un lien vers une page Web qui énumérait les contributeurs serait bien.

En ce qui concerne les données ASKAP qui m'ont été promises il y a des mois, je ne suis toujours pas sûr de son statut actuel. Une fois que les unités de travail de 100 Mo seront terminées, je verrai si je peux poursuivre et obtenir une mise à jour pour savoir si elles veulent que nous les traitions ou non.

Je voulais également écrire une visionneuse de résultats qui permettrait aux utilisateurs de rechercher les sources qu'ils ont trouvées et de les voir, mais il ne semble pas que je serai en mesure de le faire plus si je suis déplacé vers d'autres projets. Désolé pour ça.

En ce qui concerne SoFiA, je cherche à augmenter la valeur de rsc_memory_bound pour que les unités de travail de 100 Mo soient de 4 Go, ce qui signifie que les ordinateurs de moins de 4 Go de mémoire ne recevront pas ces unités de travail. Merci à LumenDan d'avoir soulevé cette question.

Je vais continuer à sortir au moins une série d'unités de travail par semaine, mais en fonction de l'espace disque du serveur, je pourrais peut-être en sortir deux. Nous verrons.

Si vous avez besoin de clarifications, n'hésitez pas à demander. Je vais essayer de répondre à tout.

Cordialement,
Sam

Donc on dirait qu'il va arrêter le projet, mais ce n'est pas 100% clair, ni quand.
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: [AF>Libristes>Jip] Elgrande71 le 01 March 2018 à 22:46
Effectivement, il y a beaucoup d'incertitudes sur la suite de ce projet .  :/
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: fzs600 le 09 May 2018 à 07:26
Sourcefinder shutting down.   :/
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=279&postid=1349#1349 (https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=279&postid=1349#1349)
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: modesti le 09 May 2018 à 09:59
:( :cry:
Titre: Re : [duchamp]Discussions sur duchamp
Posté par: JeromeC le 09 May 2018 à 19:44
Citer
Bonjour tout le monde,

De mauvaises nouvelles aujourd'hui. Kevin parlait récemment avec quelques-uns des plus hauts gradés de l'ICRAR, et il a été décidé de fermer Sourcefinder en même temps que POGS.

J'ai également appris que les scientifiques n'ont plus besoin des données croisées par Sourcefinder. Je trouve extrêmement malheureux compte tenu du temps et des efforts que vous et moi avons consacrés à ce projet au cours des dernières années, mais c'est comme ça.
Il aurait été agréable d'en être informé plus tôt, mais parfois cela n'arrive pas.

Nous garderons toujours en mémoire tout ce qui a été calculé par Sourcefinder, parce que nous pourrons peut-être en trouver une utilisation à l'avenir.

Je dois également mentionner qu'au sein de l'ICRAR, il y a un virage assez important qui s'éloigne des méthodes de calcul distribué telles que BOINC, pour utiliser simplement la puissance de traitement croissante des supercalculateurs. Dans cette optique, il est peu probable que l'ICRAR envisage de lancer de nouveaux projets de calcul distribué dans un proche avenir.

Quoi qu'il en soit, un grand merci à tous ceux qui ont contribué à Sourcefinder. J'apprécie tout ce que vous avez fait pour aider à ce projet, surtout si l'on tient compte du fait qu'il a été en grande partie rock & roll [ma traduction pour "rocky" ou "rocheux", je l'assume :)]. Je suis juste désolé que nous n'ayons pas maintenant une utilisation immédiate de toutes les données que vous avez traitées.

Comme pour le fil de fermeture de POGS, j'essaierai de répondre à toutes les questions.

Sam

-----

Je n'ajouterai pas d'unités de travail supplémentaires à la file d'attente. J'ai l'intention de laisser les quelque 700 unités de travail actuelles en cours se terminer avant de me pencher sur la collecte et l'archivage des données et de fermer le serveur Sourcefinder.

Traduit avec www.DeepL.com/Translator (et légèrement revu par bibi)

Pour de la mauvaise nouvelle, c'est de la mauvaise nouvelle.