Date de début:
11:00
Date de fin:
11:15
Lieu:
VVF Portbail
Ville:
Portbail
Producteur:
-

Durée:
17:08
Type:
video/mp4
Poids:
219.68 Mo
Format:
mp4
Résolution:
1280x720
Codec:
AVC

AstroLab: naviguer au milieu de milliards d’astres

AstroLab est une organisation pour le développement d’outils logiciels de pointe pour aider à ré-
soudre des problématiques big data dans la recherche.
Partager les efforts de R&D entre groupes, améliorer l’inter-opérabilité entre le milieu industriel et
celui de la recherche dans les projets open-sources, et développer de nouveaux outils collaboratifs
permettra aux équipes de recherche d’exploiter au mieux les outils de l’écosystème du big data.
Dans cette présentation, je me concentrerai sur Apache Spark, un ensemble d’outils pour le calcul
distribué principalement utilisé dans le milieu industriel, pour analyser des données de futur tele-
scopes tels que LSST qui enregistrera des téraoctets de données par nuits pendant plusieurs années.
Plus en détails, je décrirai les mécanismes mis en place pour connecter le format de données scien-
tifique FITS dans Spark, et j’étudierai les performances pour distribuer et manipuler des téraoctets de données distribuées sur un ensemble de machines. Pour finir, j’introduirai spark3D, une exten-
sion d’Apache Spark pour manipuler efficacement des jeux de données tri-dimmensionnels venant
de l’astrophysique, de la physique des hautes énergies, ou encore de la météorologie.

Julien Peloton Co-auteur(s) Christian Arnault stephane plaszczynski CNRS

Dernières vidéos