Stage – Étude et adaptation de modèles de fondation légers d’observation de la Terre pour la détection précoce de culture

L’unité Earth Observation est en charge des activités de traitement d’images d’origine spatiale. Ses domaines d’expertise sont : la géométrie des capteurs et le traitement d’image, la calibration/validation et le contrôle qualité et les services d’observation de la Terre. Nos experts en télédétection, nos scientifiques et nos concepteurs de logiciels spécialisés se concentrent sur les programmes de R&D, les algorithmes de traitement, les systèmes de segment sol et les services environnementaux. Observer la Terre depuis l’espace, surveiller notre environnement et les changements climatiques sont nos défis.

Pour son équipe spécialisée en intelligence artificielle et dans l’optique de faciliter la réalisation de futur étude R&D, Magellium propose le stage suivant intitulé :

Étude et adaptation de modèles de fondation légers d’observation de la Terre pour la détection précoce de culture.

CONTEXTE

L’imagerie satellitaire offre une quantité considérable de données exploitables dans un grand nombre d’applications (cartographie de l’occupation du sol, détection d’objet, détection de changement, modélisation 3D, …). La revisite des satellites permet en outre d’obtenir des séries temporelles sur une même zone d’intérêt, utiles par exemple pour le suivi des cultures.

Ce volume de données se prête bien au développement de modèles de deep learning qui obtiennent souvent des résultats à l’état de l’art. Une limitation toutefois réside dans la nécessité d’associer aux images satellitaires des annotations pour entraîner et évaluer ces modèles. Ces annotations étant très coûteuses à produire, la majorité des données satellitaires disponibles ne peuvent pas être directement exploitées par ces modèles, ce qui en limite le potentiel.

Ces dernières années, une nouvelle catégorie de modèles a émergé : les modèles de fondation. Il s’agit de grands réseaux de neurones ayant été entraînés de manière auto-supervisée sur une très grande quantité de données non annotées. Ces longs entraînements leur permettent d’acquérir une représentation globale et générale du domaine pour lequel ils ont été conçus. Conçus pour être généraux et robustes, ces modèles servent de bases puissantes pouvant ensuite être spécialisées par des techniques de transfer learning moins gourmandes en données. Cela permet ainsi des économies significatives en termes de budget et de temps de calcul.

Il existe aujourd’hui de nombreux modèles de fondation couvrant divers domaines (traitement du langage, médecine, robotique, etc.), dont certains dédiés à l’imagerie satellitaire (e.g. Prithvi, Terramind, AnySat…). Les plus puissants d’entre eux peuvent traiter un grand nombre de modalité différentes (données RDG, multispectrale, SAR, …). Au contraire, d’autres modèles se veulent plus sobres mais sont spécialisés sur le type de données utilisées en entrée. Ils diffèrent également par leur capacité ou non à exploiter la dimension temporelle, un critère déterminant pour le suivi des cultures.

SUJET

La détection précoce des cultures consiste à identifier le type de culture d’une parcelle le plus tôt possible dans la saison sans attendre l’acquisition complète de la série temporelle. Cette information est précieuse pour l’anticipation des rendements, la gestion des ressources en eau ou les statistiques agricoles. Elle est cependant difficile à obtenir : en début de saison, les cultures sont encore peu différenciées.

Ce stage vise à répertorier et évaluer l’apport des modèles de fondation pour cette tâche dans un contexte de ressources de calcul limitées. Une attention particulière sera portée sur les différentes techniques d’adaptation de ces modèles au problème considéré, ainsi qu’au développement d’outils internes facilitant leur déploiement.

Le candidat pourra s’appuyer sur des outils internes Magellium ou des outils open source, qu’il s’agira d’intégrer ou d’améliorer selon leur capacité à répondre au besoin.

Le déroulement du stage sera le suivant :

• Une phase d’état de l’art portant à la fois sur la détection précoce de culture par deep learning, les modèles de fondation adaptés à cette tâche et les techniques d’affinage (fine-tuning) ou transfert learning permettant de les spécialiser ;
• Une phase de préparation de la base de données au niveau “Deep Learning Ready” ;
• Une phase de conception d’une bibliothèque pour la sélection et la spécialisation de modèles de fondation  ;
• Une phase d’entraînement et d’évaluation quantitative et qualitative différentes solutions identifiées dans l’état de l’art.

Si le temps le permet, d’autres cas d’étude pourront être testés.

Le développement sera fait en Python et s’appuiera sur PyTorch pour le Deep Learning.

PERSPECTIVE

Dans la continuité de ce stage, un poste en CDI pourra être proposé au candidat