Le Forum de l'Alliance Francophone
Boinc et les projets distribués => Annonces sur Boinc et les projets => Boinc-projets terminés => Discussion démarrée par: fzs600 le 01 February 2017 à 11:30
-
(https://www.virtualbox.org/graphics/vbox_logo2_gradient.png)
Infos utiles.
Projet affilier a POGS.
The Duchamp Source Finder : http://www.atnf.csiro.au/people/Matthew.Whiting/Duchamp/ (http://www.atnf.csiro.au/people/Matthew.Whiting/Duchamp/)
En BETA TEST
Nécessite l'installation de virtualbox : https://www.virtualbox.org/ (https://www.virtualbox.org/)
Statut : Projet terminer
URL du projet : http://54.196.169.236/duchamp/ (http://54.196.169.236/duchamp/)
Application disponible : http://54.196.169.236/duchamp/apps.php (http://54.196.169.236/duchamp/apps.php)
État du serveur : http://54.196.169.236/duchamp/server_status.php (http://54.196.169.236/duchamp/server_status.php)
L'alliance francophone : http://54.196.169.236/duchamp/team_display.php?teamid=13 (http://54.196.169.236/duchamp/team_display.php?teamid=13)
Classement mondial de L'af : pas de données
Résumé.
Sourcefinder consiste à tester les performances et la qualité de l'application Duchamp Sourcefinding. Nous avons construit un cube simulé du ciel contenant diverses sources radio, et c'est le travail de Duchamp de déterminer où se trouvent les sources. Nous projetons d'exécuter Duchamp sur l'ensemble du cube de données simulées pour chercher combien de sources radio dans le cube il peut trouver. Duchamp devra être en mesure d'identifier les sources correctes tout en gardant les faux positifs à un minimum.
Traduction JeromeC
Mis a jour par fzs600 le 14 avril 2020
-
Pour le moment tout part en échec de téléchargement.
Feb 2017, 10:33:12 UTC 1 Feb 2017, 10:44:08 UTC Error while downloading 0.00 0.00 --- Duchamp Sourcefinder v1.00 (vbox64)
windows_x86_64
-
2 Feb 2017, 12:42:17 UTC 2 Feb 2017, 18:29:15 UTC Completed and validated 14,167.16 12,672.29 91.89 Duchamp Sourcefinder v1.00 (vbox64)
x86_64-pc-linux-gnu
2 Feb 2017, 12:42:17 UTC 2 Feb 2017, 18:30:05 UTC Completed and validated 14,226.76 12,744.86 87.22 Duchamp Sourcefinder v1.00 (vbox64)
x86_64-pc-linux-gnu
-
Ca va mieux sous GNU/Linux :D
-
:hello:
10 équipes d'inscrites sur le projet à l"heure où j'écris - l'Alliance est attendue !
http://54.196.169.236/duchamp/top_teams.php (http://54.196.169.236/duchamp/top_teams.php)
-
:hello:
10 équipes d'inscrites sur le projet à l"heure où j'écris - l'Alliance est attendue !
http://54.196.169.236/duchamp/top_teams.php (http://54.196.169.236/duchamp/top_teams.php)
C'est bon Damien la fait. :kookoo:
-
Sourcefinder is about testing the performance and quality of the Duchamp Sourcefinding application. We've built a simulated cube of the sky containing various radio sources, and it's the job of Duchamp to work out where the sources are. We plan on running Duchamp over the whole cube of simulated data to work how many of the radio sources in the cube it can find. Duchamp will need to be able to identify correct sources while keeping false positives to a minimum.
As this project is in beta, we welcome any sort of feedback, advice, or bug reports. You can either make a post on the forums or send us an email at icrar.tsn.website@gmail.com . We're happy to hear from you.
Sourcefinder consiste à tester les performances et la qualité de l'application Duchamp Sourcefinding. Nous avons construit un cube simulé du ciel contenant diverses sources radio, et c'est le travail de Duchamp de déterminer où se trouvent les sources. Nous projetons d'exécuter Duchamp sur l'ensemble du cube de données simulées pour chercher combien de sources radio dans le cube il peut trouver. Duchamp devra être en mesure d'identifier les sources correctes tout en gardant les faux positifs à un minimum.
Comme ce projet est en version bêta, nous accueillons toute sorte de commentaires, de conseils ou de rapports de bogues. Vous pouvez soit faire un post sur les forums ou nous envoyer un courriel à icrar.tsn.website@gmail.com. Nous sommes heureux de vous entendre.
-
We're back up.
Hi everyone,
I was in the process of expanding the main hard disk for the sourcefinder server, because the relatively small 50gb disk was no where near large enough to store all the required work units.
While I was attempting to expand the disk, I accidentally terminated the amazon server that ran Sourcefinder. This destroyed all data on the server and destroyed the server instance itself. This was a huge mistake on my behalf and I'm extremely sorry for this.
In the mean time I've been working hard to get a new server running, this time with a larger hard disk and termination protection so that my clumsy hands can't destroy it quite so easily.
I hope this hasn't been too much of an annoyance for many of you.
Sam
Nous sommes de retour.
Salut à tous,
J'étais dans le processus d'expansion du disque dur principal pour le serveur de sourcefinder, parce que le disque relativement petit de 50gb était loin d'être assez grand pour stocker toutes les unités de travail requises. Pendant que j'essayais d'étendre le disque, j'ai accidentellement terminé le serveur d'amazon où tourne Sourcefinder. Cela a détruit toutes les données sur le serveur et détruit l'instance de serveur elle-même. Ce fut une erreur énorme de ma part et je suis extrêmement désolé pour cela.
Dans le même temps, j'ai travaillé dur pour obtenir un nouveau serveur fonctionnel, cette fois avec un plus grand disque dur et une protection contre tout type de terminaison et que mes mains maladroites ne puissent pas le détruire si facilement.
J'espère que cela n'a pas été trop pénible pour vous.
Sam
-
Ohhhh mais il déclare une appli Mac sur le site !! Il va falloir que je teste ça ! :)
-
Bon voila après le crash du serveur c'est reparti. :hyperbon:
15 Feb 2017, 5:30:35 UTC 15 Feb 2017, 11:03:40 UTC Completed and validated 15,453.72 12,761.46 98.33 Duchamp Sourcefinder v2.00 (vbox64)
x86_64-pc-linux-gnu
-
Bon pour l'instant des UT Mac il y en avait pas eu hein...
-
Bon pour l'instant des UT Mac il y en avait pas eu hein...
J'en ai eu mais la première est bloquée à 100% depuis 1/2h après 1h de calcul...
Même chose pour les 2 UTs suiavntes...
:kookoo:
Edit: la première s'est débloquée au bout de 2h30 à 100%
Terminé, en attente de validation 9,078.15 7,741.20 en attente Duchamp Sourcefinder v2.00 (vbox64) x86_64-apple-darwin
Terminé et validé 9,042.49 7,731.64 82.44 Duchamp Sourcefinder v2.00 (vbox64) x86_64-apple-darwin
-
C'est relou qu'aucun projet ne donne jamais le détail des UT distribuées par plateforme dans son "server status"...
Tiens nous au courant de la destinée de ton UT :)
-
Mes 2 premières tâches en attente de validation
-
J'ai un soucis avec ce projet sur win10 (sur osx pas de soucis 13 UTs validées) :
Quand j'arrive à chopper une UT j'ai ce msg:
Message du serveur: VirtualBox jobs require hardware acceleration support. Your processor does not support the required instruction set.
Alors que CPU-Z m'annonce bien VT-X présent (activé dans le bios) et que si je créé une machine virtuelle avec VirtualBox j'ai bien l'accélération matérielle de validée...
Instructions sets MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, EM64T, VT-x, AVX, AVX2, FMA3
Une idée :??:
Thks
Nota :
We recommend the VirtualBox version that is included in the recommended BOINC Windows installer, since newer VirtualBox versions do not work correctly for all projects.
Donc j'ai déinstallé la dernière version de VirtualBox et refait l'installation du package complet de Boinc
Pfff cette version de VirtualBox plante direct sur le Win10 (pb connu cf forum vb) :priz2tet:
Nota 2 :
J'essaye de chopper des UTs VB sur LHC, ATLAS & RNA Pour voir si c'est DUCHAMP qui a un pb ou mon ordi mais nada de chez nada pas d'UTs envoyées........................., :cry:
Nota 3 :
Pb réglé grace au forum de Boinc Berkeley
:gno:
-
Ce matin tous les downloads partent en erreur :
Erreur en cours de téléchargement (sens download)
:/
-
Ce matin tous les downloads partent en erreur :
Erreur en cours de téléchargement (sens download)
:/
Chez moi ça fait 2 jours que c'est comme ça. :cavapobienmwa:
-
Message posté sur leur forum
:kookoo:
-
Bon maintenant j'ai les UTs qui se bloquent avec ce msg:
Reporté : VM job unmanageable, restarting later
Jeu 23 mar 10:21:07 2017 | duchamp | task postponed 86400.000000 sec: VM job unmanageable, restarting later.
:/
-
J'ai en 4 qui sont restés comme ça quelques jours et elles ont fini par se débloquer toutes seules.
A moins que ce soient celles-ci en erreur (http://54.196.169.236/duchamp/results.php?hostid=228&offset=0&show_names=0&state=6&appid=) ? (mais ça parle d'une erreur de téléchargement...)
Mais vu que j'en ai d'autres qui sont retournées en OK (http://54.196.169.236/duchamp/results.php?hostid=228&offset=0&show_names=0&state=4&appid=) le même jour...
-
Effectivement ce matin une est repartie comme si de rien n'était...
:D
-
EDIT : le 14/06 il y avait d'abord eu ce post
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=206
681 Go en bas
Félicitations à tous, nous avons traité les premiers 681 Go de cubelets Sourcefinder!
Vous avez tous fait un travail incroyable jusqu'à présent, et tout le monde à TheSkyNet vous remercie.
Maintenant que nous avons traité une grande partie des données de cube simulées, je me concentrerai sur le développement de certains outils de visualisation pour permettre à tous de voir les sources qu'ils ont traitées. Cet outil va être intégré à theSkyNet.org.
Vous pourrez principalement sélectionner un cubelet et un ensemble de paramètres à afficher, et vous verrez apparaître les emplacements des sources dans ce cubelet avec le nom des utilisateurs qui ont trouvé les sources.
Je prévois également d'ajouter des statistiques de crédit de Sourcefinder à votre tableau de bord sur theSkyNet.org à un moment donné.
A ma connaissance, il devrait y avoir aussi environ 300 Go de données quelque part encore à traiter, car le supercube d'origine était d'environ 1 To de taille. Je crois que ces données n'ont pas été extraites du supercube pour une raison inconnue, alors je vais travailler à l'extraire.
Jusque-là, il n'y aura plus d'unités de travail Sourcefinder malheureusement.
Quoi qu'il en soit, je vous remercie encore une fois d'avoir crunché toutes ces données. J'espère que vous appréciez l'outil de visualisation lorsque j'ai fini de le construire :)
Donc la nouvelle nouvelle ci-dessous est d'autant plus bonne.
-------------------
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=207
Bientôt de vrais données !
Je viens de rentrer d'une réunion avec Kirsten, et j'ai de très bonnes nouvelles à partager avec tout le monde!
ASKAP (https://en.wikipedia.org/wiki/Australian_Square_Kilometre_Array_Pathfinder) [et ici (http://www.atnf.csiro.au/projects/askap/index.html)] a presque complété les observations de son premier cube de 500 Go, et nous allons le traiter lorsque ça sera fait!
L'exécution d'une application "sourcefinder" sur les données ASKAP n'a encore jamais été effectuée, ce sera une première mondiale.
Alors que nous attendons que ASKAP soit terminé, nous allons exécuter le super cube simulé à nouveau, cette fois en utilisant une nouvelle application source appelée SoFiA.
Nous allons examiner si SoFiA est mieux pour trouver des sources que Duchamp.
Une fois que nous aurons des données de Duchamp et SoFiA, je travaillerai sur la correspondance croisée des sources qu'ils ont trouvées avec le catalogue de sources d'origine, alors nous aurons une image claire de qui est le meilleur sourcefinder.
On me dit aussi qu'il y a de très grandes chances qu'un article soit écrit sur la comparaison entre Duchamp et SoFiA en tant que source, alors je serai sûr de vous tenir au courant si j'en entends plus à ce propos.
Enfin, il y a eu un problème de stockage de back-end avec certaines des données que nous avons traitées, et je devrai ré-exécuter quelques ensembles d'unités de travail, alors prévoyez-vous qu'un peu plus de travail arrivera bientôt.
-
The future of Sourcefinder : http://54.196.169.236/duchamp/forum_thread.php?id=213&postid=688#688 (http://54.196.169.236/duchamp/forum_thread.php?id=213&postid=688#688)
Si quelqu'un estime que cela mérite une traduction qu'il en soit par avance remercier. :jap: :kookoo:
-
:hello:
Des BETA sont disponible sur le projet.
https://sourcefinder.theskynet.org/duchamp/server_status.php (https://sourcefinder.theskynet.org/duchamp/server_status.php)
-
Ne pas oublier de cocher la ligne qui va bien dans vos préférences sur le projet ;)
-
Ne pas oublier de cocher la ligne qui va bien dans vos préférences sur le projet ;)
:chefouichef:
-
Vi c'est décoché par défaut.
-
SoFiA Update 8 and some changes at ICRAR
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273&postid=1276#1276 (https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273&postid=1276#1276)
-
Purée j'en ai chopé un tas il y a quelques jours qui se sont lancées en même temps, ça a complètement saturé mes 16 Go avec 8 VM, il m'a fallu 1/2 heure pour pouvoir reprendre la main sur la pauvre machine, et me faire un ptit fichier config qui va bien pour éviter que ça se reproduise...
-
Purée j'en ai chopé un tas il y a quelques jours qui se sont lancées en même temps, ça a complètement saturé mes 16 Go avec 8 VM, il m'a fallu 1/2 heure pour pouvoir reprendre la main sur la pauvre machine, et me faire un ptit fichier config qui va bien pour éviter que ça se reproduise...
Ça arrive :D
-
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=273#1276
Salut à tous,
Il s'est passé beaucoup de choses la semaine dernière à l'ICRAR, et j'ai beaucoup de choses à vous dire.
À l'origine, j'ai été engagé par Outreach pour travailler plus ou moins exclusivement sur SkyNet. En Mars de cette année, mon contrat est transféré à DIA (Data intensive astronomy), qui veulent que je travaille sur d'autres projets.
J'ai rencontré le directeur de DIA la semaine dernière et il a été décidé que, une fois les unités de 100 Mo terminées, je devrai boucler Sourcefinder et organiser toutes les données que nous avons recueillies jusqu'à présent en vue de l'analyse.
Gardant cela à l'esprit, mon nouveau plan est de continuer à exécuter des unités de travail de 100 Mo à travers l'application sofiabeta, car tout fonctionne plus ou moins bien en l'état. Sofiabeta restera une application bêta pour que les utilisateurs puissent choisir de se désinscrire, car les unités de travail de 100 Mo sont beaucoup plus intensives que les unités de travail de 10 Mo.
Ensuite, une fois que nous aurons terminé les unités de travail de 100 Mo, je passerai du temps à travailler sur une page de contributeurs publics qui répertoriera tous ceux qui ont contribué à Sourcefinder. Je vais aussi essayer de faire en sorte qu'un lien vers cette page soit présent dans le document final analysant les résultats. J'ai constaté qu'ils étaient généralement contre l'idée de mentionner une liste de contributeurs dans le document, mais ils pensaient que fournir un lien vers une page Web qui énumérait les contributeurs serait bien.
En ce qui concerne les données ASKAP qui m'ont été promises il y a des mois, je ne suis toujours pas sûr de son statut actuel. Une fois que les unités de travail de 100 Mo seront terminées, je verrai si je peux poursuivre et obtenir une mise à jour pour savoir si elles veulent que nous les traitions ou non.
Je voulais également écrire une visionneuse de résultats qui permettrait aux utilisateurs de rechercher les sources qu'ils ont trouvées et de les voir, mais il ne semble pas que je serai en mesure de le faire plus si je suis déplacé vers d'autres projets. Désolé pour ça.
En ce qui concerne SoFiA, je cherche à augmenter la valeur de rsc_memory_bound pour que les unités de travail de 100 Mo soient de 4 Go, ce qui signifie que les ordinateurs de moins de 4 Go de mémoire ne recevront pas ces unités de travail. Merci à LumenDan d'avoir soulevé cette question.
Je vais continuer à sortir au moins une série d'unités de travail par semaine, mais en fonction de l'espace disque du serveur, je pourrais peut-être en sortir deux. Nous verrons.
Si vous avez besoin de clarifications, n'hésitez pas à demander. Je vais essayer de répondre à tout.
Cordialement,
Sam
Donc on dirait qu'il va arrêter le projet, mais ce n'est pas 100% clair, ni quand.
-
Effectivement, il y a beaucoup d'incertitudes sur la suite de ce projet . :/
-
Sourcefinder shutting down. :/
https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=279&postid=1349#1349 (https://sourcefinder.theskynet.org/duchamp/forum_thread.php?id=279&postid=1349#1349)
-
:( :cry:
-
Bonjour tout le monde,
De mauvaises nouvelles aujourd'hui. Kevin parlait récemment avec quelques-uns des plus hauts gradés de l'ICRAR, et il a été décidé de fermer Sourcefinder en même temps que POGS.
J'ai également appris que les scientifiques n'ont plus besoin des données croisées par Sourcefinder. Je trouve extrêmement malheureux compte tenu du temps et des efforts que vous et moi avons consacrés à ce projet au cours des dernières années, mais c'est comme ça.
Il aurait été agréable d'en être informé plus tôt, mais parfois cela n'arrive pas.
Nous garderons toujours en mémoire tout ce qui a été calculé par Sourcefinder, parce que nous pourrons peut-être en trouver une utilisation à l'avenir.
Je dois également mentionner qu'au sein de l'ICRAR, il y a un virage assez important qui s'éloigne des méthodes de calcul distribué telles que BOINC, pour utiliser simplement la puissance de traitement croissante des supercalculateurs. Dans cette optique, il est peu probable que l'ICRAR envisage de lancer de nouveaux projets de calcul distribué dans un proche avenir.
Quoi qu'il en soit, un grand merci à tous ceux qui ont contribué à Sourcefinder. J'apprécie tout ce que vous avez fait pour aider à ce projet, surtout si l'on tient compte du fait qu'il a été en grande partie rock & roll [ma traduction pour "rocky" ou "rocheux", je l'assume :)]. Je suis juste désolé que nous n'ayons pas maintenant une utilisation immédiate de toutes les données que vous avez traitées.
Comme pour le fil de fermeture de POGS, j'essaierai de répondre à toutes les questions.
Sam
-----
Je n'ajouterai pas d'unités de travail supplémentaires à la file d'attente. J'ai l'intention de laisser les quelque 700 unités de travail actuelles en cours se terminer avant de me pencher sur la collecte et l'archivage des données et de fermer le serveur Sourcefinder.
Traduit avec www.DeepL.com/Translator (et légèrement revu par bibi)
Pour de la mauvaise nouvelle, c'est de la mauvaise nouvelle.