Stage – Développement logiciel – Données scientifiques : Simplifier leur intégration et optimiser leur accès

L’équipe Cloud Data Intelligence conçoit et développe des applications scientifiques et des plateformes de données cloud-native. Elle mobilise notamment Python, les API et les environnements conteneurisés pour faciliter l’acquisition, le traitement et l’exploitation de données complexes.

LE SUJET DU STAGE

Les données ouvertes issues des programmes d’observation de la Terre, des réseaux de capteurs et des simulations scientifiques ouvrent de nouvelles possibilités pour comprendre notre environnement. Elles permettent de croiser des observations, de comparer des modèles et de construire de nouveaux indicateurs.

Leur exploitation reste cependant un défi technique : sources dispersées, formats hétérogènes, volumes importants et modalités d’accès variées. Comment intégrer facilement une nouvelle source et permettre aux scientifiques comme aux applications d’accéder efficacement aux données utiles à leurs analyses ?

L’objectif du stage est de concevoir et de développer une chaîne modulaire reliant ces sources de données aux outils d’analyse scientifique. Vous travaillerez sur deux axes complémentaires : simplifier l’intégration de nouvelles sources et exposer leurs données sous une forme compréhensible, adaptée aux usages et performante.

Vous vous appuierez sur les approches ARCO (Analysis Ready, Cloud Optimized), qui visent des données prêtes à l’analyse et un accès distant efficace, et sur les principes FAIR : des données faciles à trouver, accessibles, interopérables et réutilisables. La documentation des traitements et la traçabilité des résultats inscriront vos travaux dans une démarche de science ouverte et de reproductibilité.

Un exemple concret : intégrer de nouvelles données météorologiques, vérifier leur qualité, harmoniser leurs unités, puis permettre à un utilisateur de récupérer uniquement les variables et la période nécessaires à son analyse, sans télécharger toute l’archive.

VOS MISSIONS :

Comprendre les sources et les usages

• Analyser des sources publiques représentatives et les besoins des utilisateurs : variables, dimensions, fréquence de mise à jour, volumes et modes d’accès.
• Étudier les solutions existantes pour l’acquisition, l’orchestration et la mise à disposition des données afin de sélectionner les composants adaptés.

Faciliter l’intégration de nouvelles sources

• Concevoir un mécanisme de connecteurs permettant d’ajouter une source sans modifier l’ensemble de la chaîne.
• Développer des traitements configurables pour récupérer les données, contrôler leur qualité et harmoniser leur structure et leurs métadonnées.
• Automatiser les mises à jour et prévoir le suivi des exécutions, la gestion des erreurs et les reprises après échec.

Proposer un accès pertinent et performant

• Décrire les jeux de données disponibles, leurs variables, unités, dimensions et provenance pour faciliter leur découverte et leur compréhension.
• Expérimenter des formats et organisations de stockage adaptés aux usages, par exemple Zarr pour des données multidimensionnelles ou Parquet pour des données tabulaires.
• Développer des interfaces permettant de sélectionner et d’extraire les données utiles selon une période, des variables ou une zone d’intérêt.
• Évaluer les temps d’accès et les volumes transférés sur des scénarios représentatifs, puis améliorer les performances.

Valider un démonstrateur réutilisable

• Mettre en œuvre une chaîne de bout en bout sur des jeux de données ouverts, puis vérifier sa capacité à intégrer une seconde source.
• Conserver les paramètres et l’historique des traitements pour expliquer et reproduire les résultats.
• Documenter l’ajout d’un connecteur, l’accès aux données et les choix techniques. Selon l’avancement, explorer une configuration graphique ou une assistance IA.

Vous serez intégré(e) à une équipe de développement et accompagné(e) par des ingénieurs expérimentés. Le démonstrateur s’appuiera sur les outils et projets de l’équipe, avec des composants réutilisables pour d’autres sources et usages scientifiques.