[duchamp]Discussions sur duchamp

[fzs600]

                                                                                                                                                 



Infos utiles.
Projet affilier a POGS.
The Duchamp Source Finder : http://www.atnf.csiro.au/people/Matthew.Whiting/Duchamp/
En BETA TEST
Nécessite l'installation de virtualbox : https://www.virtualbox.org/


Statut : Projet terminer
URL du projet : http://54.196.169.236/duchamp/
Application disponible : http://54.196.169.236/duchamp/apps.php
État du serveur : http://54.196.169.236/duchamp/server_status.php
L'alliance francophone : http://54.196.169.236/duchamp/team_display.php?teamid=13 
Classement mondial de L'af : pas de données


Résumé.
Sourcefinder consiste à tester les performances et la qualité de l'application Duchamp Sourcefinding. Nous avons construit un cube simulé du ciel contenant diverses sources radio, et c'est le travail de Duchamp de déterminer où se trouvent les sources. Nous projetons d'exécuter Duchamp sur l'ensemble du cube de données simulées pour chercher combien de sources radio dans le cube il peut trouver. Duchamp devra être en mesure d'identifier les sources correctes tout en gardant les faux positifs à un minimum.
Traduction JeromeC

Mis a jour par fzs600 le 14 avril 2020

[fzs600]

Pour le moment tout part en échec de téléchargement.

Feb 2017, 10:33:12 UTC    1 Feb 2017, 10:44:08 UTC    Error while downloading    0.00    0.00    ---    Duchamp Sourcefinder v1.00 (vbox64)
windows_x86_64

[fzs600]

2 Feb 2017, 12:42:17 UTC    2 Feb 2017, 18:29:15 UTC    Completed and validated    14,167.16    12,672.29    91.89    Duchamp Sourcefinder v1.00 (vbox64)
x86_64-pc-linux-gnu

2 Feb 2017, 12:42:17 UTC    2 Feb 2017, 18:30:05 UTC    Completed and validated    14,226.76    12,744.86    87.22    Duchamp Sourcefinder v1.00 (vbox64)
x86_64-pc-linux-gnu

[[AF>Libristes>Jip] Elgrande71]

Ca va mieux sous GNU/Linux 

[[AF>PlusCitoyen] Kether]

 

10 équipes d'inscrites sur le projet à l"heure où j'écris - l'Alliance est attendue !

http://54.196.169.236/duchamp/top_teams.php

[fzs600]

10 équipes d'inscrites sur le projet à l"heure où j'écris - l'Alliance est attendue !

http://54.196.169.236/duchamp/top_teams.php

C'est bon Damien la fait. 

[JeromeC]

Sourcefinder is about testing the performance and quality of the Duchamp Sourcefinding application. We've built a simulated cube of the sky containing various radio sources, and it's the job of Duchamp to work out where the sources are. We plan on running Duchamp over the whole cube of simulated data to work how many of the radio sources in the cube it can find. Duchamp will need to be able to identify correct sources while keeping false positives to a minimum.

As this project is in beta, we welcome any sort of feedback, advice, or bug reports. You can either make a post on the forums or send us an email at icrar.tsn.website@gmail.com . We're happy to hear from you.

Sourcefinder consiste à tester les performances et la qualité de l'application Duchamp Sourcefinding. Nous avons construit un cube simulé du ciel contenant diverses sources radio, et c'est le travail de Duchamp de déterminer où se trouvent les sources. Nous projetons d'exécuter Duchamp sur l'ensemble du cube de données simulées pour chercher combien de sources radio dans le cube il peut trouver. Duchamp devra être en mesure d'identifier les sources correctes tout en gardant les faux positifs à un minimum.

Comme ce projet est en version bêta, nous accueillons toute sorte de commentaires, de conseils ou de rapports de bogues. Vous pouvez soit faire un post sur les forums ou nous envoyer un courriel à icrar.tsn.website@gmail.com. Nous sommes heureux de vous entendre.

[JeromeC]

We're back up.
Hi everyone,

I was in the process of expanding the main hard disk for the sourcefinder server, because the relatively small 50gb disk was no where near large enough to store all the required work units.
While I was attempting to expand the disk, I accidentally terminated the amazon server that ran Sourcefinder. This destroyed all data on the server and destroyed the server instance itself. This was a huge mistake on my behalf and I'm extremely sorry for this.
In the mean time I've been working hard to get a new server running, this time with a larger hard disk and termination protection so that my clumsy hands can't destroy it quite so easily.

I hope this hasn't been too much of an annoyance for many of you.

Sam

Nous sommes de retour.

Salut à tous,

J'étais dans le processus d'expansion du disque dur principal pour le serveur de sourcefinder, parce que le disque relativement petit de 50gb était loin d'être assez grand pour stocker toutes les unités de travail requises. Pendant que j'essayais d'étendre le disque, j'ai accidentellement terminé le serveur d'amazon où tourne Sourcefinder. Cela a détruit toutes les données sur le serveur et détruit l'instance de serveur elle-même. Ce fut une erreur énorme de ma part et je suis extrêmement désolé pour cela.

Dans le même temps, j'ai travaillé dur pour obtenir un nouveau serveur fonctionnel, cette fois avec un plus grand disque dur et une protection contre tout type de terminaison et que mes mains maladroites ne puissent pas le détruire si facilement.

J'espère que cela n'a pas été trop pénible pour vous.

Sam

[JeromeC]

Ohhhh mais il déclare une appli Mac sur le site !! Il va falloir que je teste ça !

[fzs600]

Bon voila après le crash du serveur c'est reparti. 

15 Feb 2017, 5:30:35 UTC    15 Feb 2017, 11:03:40 UTC    Completed and validated    15,453.72    12,761.46    98.33    Duchamp Sourcefinder v2.00 (vbox64)
x86_64-pc-linux-gnu

[JeromeC]

Bon pour l'instant des UT Mac il y en avait pas eu hein...

[PhilTheNet]

Bon pour l'instant des UT Mac il y en avait pas eu hein...

J'en ai eu mais la première est bloquée à 100% depuis 1/2h après 1h de calcul...

Même chose pour les 2 UTs suiavntes...



Edit: la première s'est débloquée au bout de 2h30 à 100%
Terminé, en attente de validation    9,078.15    7,741.20    en attente    Duchamp Sourcefinder v2.00 (vbox64) x86_64-apple-darwin
Terminé et validé    9,042.49    7,731.64    82.44    Duchamp Sourcefinder v2.00 (vbox64) x86_64-apple-darwin

[JeromeC]

C'est relou qu'aucun projet ne donne jamais le détail des UT distribuées par plateforme dans son "server status"...

Tiens nous au courant de la destinée de ton UT

[titidestroy]

Mes 2 premières tâches en attente de validation

[PhilTheNet]

J'ai un soucis avec ce projet sur win10 (sur osx pas de soucis 13 UTs validées) :

Quand j'arrive à chopper une UT j'ai ce msg:
Message du serveur: VirtualBox jobs require hardware acceleration support. Your processor does not support the required instruction set.

Alors que CPU-Z m'annonce bien VT-X présent (activé dans le bios) et que si je créé une machine virtuelle avec VirtualBox j'ai bien l'accélération matérielle de validée...
Instructions sets   MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, EM64T, VT-x, AVX, AVX2, FMA3

Une idée 

Thks

Nota :
We recommend the VirtualBox version that is included in the recommended BOINC Windows installer, since newer VirtualBox versions do not work correctly for all projects.

Donc j'ai déinstallé la dernière version de VirtualBox et refait l'installation du package complet de Boinc

Pfff cette version de VirtualBox plante direct sur le Win10 (pb connu cf forum vb) 

Nota 2 :
J'essaye de chopper des UTs VB sur LHC, ATLAS & RNA Pour voir si c'est DUCHAMP qui a un pb ou mon ordi mais nada de chez nada pas d'UTs envoyées.........................,

Nota 3 :
Pb réglé grace au forum de Boinc Berkeley

[PhilTheNet]

Ce matin tous les downloads partent en erreur :

Erreur en cours de téléchargement (sens download)

[fzs600]

Ce matin tous les downloads partent en erreur :

Erreur en cours de téléchargement (sens download)

Chez moi ça fait 2 jours que c'est comme ça. 

[PhilTheNet]

Message posté sur leur forum

[PhilTheNet]

Bon maintenant j'ai les UTs qui se bloquent avec ce msg:

Reporté : VM job unmanageable, restarting later

Jeu 23 mar 10:21:07 2017 | duchamp | task postponed 86400.000000 sec: VM job unmanageable, restarting later.

[JeromeC]

J'ai en 4 qui sont restés comme ça quelques jours et elles ont fini par se débloquer toutes seules.

A moins que ce soient celles-ci en erreur ? (mais ça parle d'une erreur de téléchargement...)

Mais vu que j'en ai d'autres qui sont retournées en OK le même jour...

[PhilTheNet]

Effectivement ce matin une est repartie comme si de rien n'était...

[JeromeC]

EDIT : le 14/06 il y avait d'abord eu ce post

https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=206

681 Go en bas

Félicitations à tous, nous avons traité les premiers 681 Go de cubelets Sourcefinder!
Vous avez tous fait un travail incroyable jusqu'à présent, et tout le monde à TheSkyNet vous remercie.

Maintenant que nous avons traité une grande partie des données de cube simulées, je me concentrerai sur le développement de certains outils de visualisation pour permettre à tous de voir les sources qu'ils ont traitées. Cet outil va être intégré à theSkyNet.org.

Vous pourrez principalement sélectionner un cubelet et un ensemble de paramètres à afficher, et vous verrez apparaître les emplacements des sources dans ce cubelet avec le nom des utilisateurs qui ont trouvé les sources.
Je prévois également d'ajouter des statistiques de crédit de Sourcefinder à votre tableau de bord sur theSkyNet.org à un moment donné.

A ma connaissance, il devrait y avoir aussi environ 300 Go de données quelque part encore à traiter, car le supercube d'origine était d'environ 1 To de taille. Je crois que ces données n'ont pas été extraites du supercube pour une raison inconnue, alors je vais travailler à l'extraire.

Jusque-là, il n'y aura plus d'unités de travail Sourcefinder malheureusement.

Quoi qu'il en soit, je vous remercie encore une fois d'avoir crunché toutes ces données. J'espère que vous appréciez l'outil de visualisation lorsque j'ai fini de le construire

Donc la nouvelle nouvelle ci-dessous est d'autant plus bonne.

-------------------
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=207

Bientôt de vrais données !

Je viens de rentrer d'une réunion avec Kirsten, et j'ai de très bonnes nouvelles à partager avec tout le monde!

ASKAP [et ici] a presque complété les observations de son premier cube de 500 Go, et nous allons le traiter lorsque ça sera fait!

L'exécution d'une application "sourcefinder" sur les données ASKAP n'a encore jamais été effectuée, ce sera une première mondiale.

Alors que nous attendons que ASKAP soit terminé, nous allons exécuter le super cube simulé à nouveau, cette fois en utilisant une nouvelle application source appelée SoFiA.

Nous allons examiner si SoFiA est mieux pour trouver des sources que Duchamp.

Une fois que nous aurons des données de Duchamp et SoFiA, je travaillerai sur la correspondance croisée des sources qu'ils ont trouvées avec le catalogue de sources d'origine, alors nous aurons une image claire de qui est le meilleur sourcefinder.

On me dit aussi qu'il y a de très grandes chances qu'un article soit écrit sur la comparaison entre Duchamp et SoFiA en tant que source, alors je serai sûr de vous tenir au courant si j'en entends plus à ce propos.

Enfin, il y a eu un problème de stockage de back-end avec certaines des données que nous avons traitées, et je devrai ré-exécuter quelques ensembles d'unités de travail, alors prévoyez-vous qu'un peu plus de travail arrivera bientôt.

[fzs600]

The future of Sourcefinder : http://54.196.169.236/duchamp/forum_thread.php?id=213&postid=688#688

Si quelqu'un estime que cela mérite une traduction qu'il en soit par avance remercier.   

[fzs600]

 

Des BETA sont disponible sur le projet.
https://sourcefinder.theskynet.org/duchamp/server_status.php

[modesti]

Ne pas oublier de cocher la ligne qui va bien dans vos préférences sur le projet