Ingénieur scientifique & informatique – coordinateur technique d’un service opérationnel COPERNICUS hébergé sur un cloud – Observation de la Terre H/F

Contexte

Depuis 2020, Magellium opère la production de produits de couverture d’ eau, de neige et glace sur le territoire européen. Ces produits issus d’observations satellite indiquent la présence de neige sur la surface continentale et la présence de glace sur les lacs et rivières et sont délivrés par le service Copernicus terrestre. Ils sont générés dès la mise à disposition des observations Sentinel-1 et Sentinel-2 par les services de l’agence spatiale européenne (ESA).

Magellium coordonne l’ensemble du projet autour duquel a été fondé un consortium. Magellium est, au sein du consortium, l’interlocuteur privilégié avec le client. Ce consortium est composé de laboratoires et d’entreprises privées européens responsables de la conception, de la maintenance, et du maintien à niveau d’ algorithmes scientifiques de détection de neige et de glace.

De son côté, l‘équipe de Magellium apporte du support au client, pour la promotion des produits auprès des utilisateurs d’une part, et est également et avant tout responsable de la production opérationnelle en quasi temps-réel (quelques heures) des données sur la neige et la glace. Cette équipe est également responsable du développement et du maintien des briques scientifiques traitant les données glace. Les produits satellite Sentinel-1 et Sentinel-2, servant de base à la création des produits neige et glace, sont traités dès leur réception sur un cloud européen, appelé DIAS. Le DIAS permet d’accéder directement à l’ensemble des données Sentinel et de disposer d’une large infrastructure de calcul, ainsi que de capacités de diffusion des données.

Job description

Vous intégrerez une équipe constituée d’un chef de projet, d’un responsable des opérations ainsi que de 2 ingénieurs thématiciens, où vous serez responsable des développements techniques au sein du projet. Vos tâches seront les suivantes:

• Coordonner le développement techniques des activités au sein de l’équipe et avec les partenaires du projet : spécification et planification des tâches techniques à réaliser, participer aux réunions projet avec le client.
• Evolution du système de production en lien, pour y intégrer de nouveaux algorithmes scientifiques ou y implémenter de nouvelles fonctionnalités tant pour les partenaires, le client, les utilisateurs que cette même équipe.
• Assurer le suivi de la production des produits au quotidien en support au responsable des opérations
• Maintenir le système de production en conditions opérationnelles sur le DIAS, cela inclut aussi la diffusion des données.

La prise de poste s’effectuera en deux étapes. Il s’agira, dans un premier temps, d’appréhender l’architecture du système, d’en comprendre les mécanismes de déclenchement pour la génération des produits afin d’être capable, et dans un second temps, de détecter et corriger d’éventuelles anomalies et proposer des optimisations ainsi que mettre en place de nouvelles fonctionnalités.

Le suivi et la maintenance de la production seront en priorité réalisé par le responsable des opérations, mais il faudra apporter du support notamment lors des périodes de congés.

Le suivi des opérations consistent à :

• Détecter toute anomalie ou retard dans la production de la journée en s’appuyant sur le tableau de bord du système ou sur les tickets ouverts par les partenaires scientifiques (outil MANTIS), ceux-là étant chargés de faire remonter toute anomalie dans la génération de leurs produits.
• Identifier les erreurs, identifier leur(s) cause(s) sur la base de la documentation existante. Si l’anomalie est nouvelle, la documenter dans le Git du projet et dans le manuel des opérations, la comprendre, y remédier et si nécessaire mettre en place un patch en anticipation d’une éventuelle prochaine occurrence.
• Vérifier le bon fonctionnement des interfaces d’accès aux produits.

En cas de défaillance du système, soit détectée par le responsable des opérations ou bien par vous-même,  il sera potentiellement nécessaire de consulter la base de données renseignant tout ce qui s’y déroule et s’y est déroulé afin d’identifier l’origine de la défaillance. Il conviendra de  savoir relancer le processus en défaut ou bien le système dans sa totalité si nécessaire. Les perturbations pouvant également incomber au DIAS, il sera alors nécessaire d’être en interface avec leur équipe support afin de les informer des problèmes rencontrés et de rechercher une solution avec eux. Selon la gravité de la situation, une communication avec le client pourra être envisagée afin d’avertir partenaires et utilisateurs de la situation opérationnelle du système.

Certaines anomalies étant bloquantes ou bien récurrentes, elles devront être corrigées. Il conviendra alors de développer un patch afin de résoudre le problème – que ce soit en agissant à la source du problème ou en automatisant la gestion de l’erreur, de tester la nouvelle version du système sur un environnement de test, et de la déployer sur l’environnement de production après vérifications de son opérabilité.

Aussi, lors de la mise à jour des algorithmes, il sera nécessaire de déployer la/les nouvelle(s) image(s) Docker correspondante(s) et d’effectuer des simulations sur l’environnement de test antérieurement au déploiement sur l’environnement de production.

Ces manipulations nécessitent des vérifications régulières, et donc de la rigueur et de l’organisation. Il faudra savoir prioriser la correction des erreurs/anomalies en fonction de leur gravité, de leur fréquence d’occurrence, ainsi que de la perte de ressource qu’elles entraînent et effectuer ces corrections.

Ponctuellement il sera nécessaire de lancer le calcul de certains produits sur des machines virtuelles sur le DIAS (produits non temps-réel, annuels ou mensuels par exemple, ou dans le cadre d’une campagne de retraitement ou du traitement d’une archive de produits satellites). Il s’agira ensuite de les publier sur les interfaces utilisateurs dédiées avec l’aide du support du DIAS. La publication des produits sur le catalogue sera vérifiée en consultant l’API.

En vue de l’extension du projet et la mise en place de nouveaux produits Copernicus, vous devrez spécifier la façon d’intégrer de nouveaux algorithmes scientifiques en collaboration étroite avec le reste de l’équipe et les partenaires.

De façon générale, on vous demandera de vous appuyer sur la documentation et les outils en place afin d’être rapidement autonome.

Des compétences rédactionnelles seront également nécessaires pour participer au maintien de cette documentation technique ainsi que lors de la synthèse des événements advenus ainsi que des actions en cours chaque semaine lors des réunions hebdomadaires d’équipe.

Une communication efficace avec les partenaires du projet et l’équipe support du DIAS sera à privilégier (en anglais exclusivement).

Technologies utilisées

OpenStack, Terraform (nomad, vault, consul, packer et s3), Docker, Python, PostgreSQL( SQL/PLSQL), Java, View, Git, Kubernetes,  APIs RESTful, bash

Evolution du poste à moyen terme

En fonction des besoins et selon le succès de la prise en main du poste décrit précédemment, le poste pourra être élargi à moyen terme à la coordination technique de deux ou trois chaînes de traitements géophysiques de données spatiales déployées sur le cloud, et dont les caractéristiques sont assez similaires.