Sentinel : Observatoire des métiers de la Data

Le marché de l’emploi dans la Data évolue régulièrement. Entre l’apparition de nouvelles technologies, la diversité des intitulés de postes et les compétences demandées par les entreprises, il n’est pas toujours évident de savoir ce que recherchent réellement les recruteurs.

C’est en m’intéressant à ces questions, notamment dans le cadre de ma propre recherche de missions, que j’ai commencé à développer Sentinel, un observatoire des métiers de la Data.

L’objectif est assez simple : collecter des offres d’emploi, les structurer et les analyser pour mieux comprendre le marché français de la Data.

Ce qui avait commencé comme une petite analyse exploratoire en 2024 s’est progressivement transformé en un projet plus complet, combinant Data Engineering, traitement automatique du langage, modélisation décisionnelle et visualisation.

1. Présentation du projet

#

Sentinel repose sur la collecte régulière d’offres d’emploi provenant de plusieurs plateformes, notamment France Travail, APEC et Freework.

Les informations recueillies permettent d’étudier différents aspects du marché :

• Les métiers les plus représentés : Data Engineer, Data Scientist, Data Analyst, etc.
• Les technologies et compétences recherchées par les recruteurs.
• La répartition géographique des opportunités.
• Les types de contrats et les niveaux de rémunération, lorsque ces informations sont disponibles.
• Les évolutions du marché au fil des collectes.

Au-delà de ces indicateurs, l’idée est également de disposer d’une base de données suffisamment propre et structurée pour réaliser des analyses plus approfondies.

Le projet poursuit ainsi deux objectifs : produire des informations utiles sur le marché de l’emploi et expérimenter différentes approches de traitement et de valorisation des données.

2. Architecture et technologies

#

Pour construire Sentinel, j’ai retenu une architecture de type Lakehouse, organisée en plusieurs couches de traitement.

Le principe consiste à conserver les données brutes, puis à les nettoyer, les enrichir et les transformer progressivement jusqu’à leur exploitation dans des outils d’analyse.

flowchart TD
    A[France Travail]
    B[APEC]
    C[Freework]

    D[Collecte des offres
Python / API]
    E[RAW
JSONL brut]
    F[BRONZE
Delta Lake]
    G[SILVER
Nettoyage / normalisation / déduplication]
    H[Classification Data / Non-Data
NLP / embeddings]
    I[GOLD
Modèle décisionnel avec dbt / DuckDB]
    J[PostgreSQL]
    K[Dashboard Power BI]
    L[Rapports et analyses]

    A --> D
    B --> D
    C --> D

    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    I --> J
    J --> K
    J --> L

Cette organisation permet de séparer la collecte, la préparation et l’analyse des données. Chaque couche peut évoluer indépendamment, sans nécessiter de reprendre systématiquement l’ensemble des traitements.

Stack technique

#

Cette architecture permet notamment de séparer les opérations de collecte, de préparation et d’analyse. Les transformations peuvent ainsi évoluer sans avoir à reprendre systématiquement l’ensemble du processus.

3. Nettoyage, classification et enrichissement

#

La collecte ne représente qu’une partie du travail.

Les données provenant de plusieurs plateformes présentent des différences importantes : formats, intitulés, nomenclatures, informations manquantes ou encore descriptions rédigées librement.

Une même compétence peut, par exemple, apparaître sous différentes appellations. De même, deux offres portant un intitulé similaire ne correspondent pas nécessairement au même métier.

Plusieurs traitements ont donc été mis en place :

• Normalisation des champs et des formats entre les sources.
• Déduplication des offres pour limiter les doubles comptages.
• Standardisation des compétences et des technologies.
• Contrôles de qualité et tests sur les données transformées.
• Classification des offres pour identifier celles qui relèvent réellement des métiers de la Data.

Identifier les offres pertinentes

#

C’est l’une des principales difficultés du projet.

Une recherche à partir du mot-clé « data » ne renvoie pas uniquement des postes de Data Scientist ou de Data Engineer. On retrouve également des métiers administratifs, commerciaux, informatiques ou industriels qui utilisent ce terme dans des contextes très différents.

Pour limiter ces faux positifs, Sentinel intègre une étape de classification s’appuyant sur le contenu des offres.

L’approche combine des traitements de texte et des techniques de représentation sémantique (embeddings) afin de distinguer les offres pertinentes de celles qui se trouvent hors du périmètre étudié.

Les cas les plus ambigus peuvent être isolés pour une analyse complémentaire.

Cette étape est importante : sans une sélection suffisamment fiable, les indicateurs produits risqueraient de décrire davantage le comportement des moteurs de recherche que le marché de l’emploi lui-même.

4. Explorer les données avec Power BI

#

Une fois les données préparées, elles sont organisées dans un modèle décisionnel pour faciliter leur exploitation.

Un premier tableau de bord a été développé avec Microsoft Power BI. Il constitue la première interface d’exploration de Sentinel.

Il permet notamment de consulter :

• Le volume d’offres recensées et leur répartition par source.
• Les différentes familles de métiers de la Data.
• Les compétences et technologies mentionnées dans les annonces.
• La répartition géographique des offres.
• Les types de contrats proposés.
• Les informations disponibles sur les rémunérations.

L’intérêt de ce tableau de bord est de pouvoir croiser les informations.

Par exemple, il devient possible d’examiner les technologies demandées pour une famille de métiers particulière, puis d’affiner les résultats selon la localisation ou le type de contrat.

Les données peuvent également être interrogées directement en SQL pour réaliser des analyses qui dépassent le périmètre du dashboard.

5. Premières analyses et limites

#

Sentinel doit permettre, à terme, de répondre à plusieurs questions :

• Quelles compétences distinguent les différentes familles de métiers ?
• Quelles technologies sont régulièrement associées dans les offres ?
• Comment les besoins exprimés par les recruteurs évoluent-ils ?
• Observe-t-on des différences entre régions ou types de contrats ?
• Quels profils semblent se situer à la frontière de plusieurs métiers ?

Ces analyses demandent néanmoins quelques précautions.

Les offres collectées ne représentent pas nécessairement l’ensemble du marché de l’emploi. Les plateformes disposent chacune de leur propre couverture, certaines annonces peuvent être publiées plusieurs fois et les informations renseignées ne sont pas toujours homogènes.

Il faut également distinguer le nombre d’offres collectées du nombre de postes réellement ouverts à une date donnée.

Enfin, les évolutions observées dans les données peuvent provenir aussi bien de changements sur le marché que de modifications dans les sources ou les méthodes de collecte.

Sentinel n’a donc pas vocation à produire des statistiques officielles sur l’emploi, mais plutôt à proposer une lecture exploratoire et documentée d’une partie du marché.

Ces limites sont prises en compte dans la construction des indicateurs et dans l’interprétation des résultats.

6. Et maintenant ?

#

La première version de Sentinel dispose désormais d’une chaîne de traitement des données et d’un tableau de bord permettant d’explorer les offres collectées.

Plusieurs pistes restent à approfondir :

• Améliorer la classification des métiers et l’identification des compétences.
• Fiabiliser le suivi temporel des offres.
• Étudier les associations entre métiers, technologies et compétences.
• Développer des analyses géographiques et temporelles plus détaillées.
• Produire des rapports synthétiques à partir des données de l’observatoire.

Un premier rapport consacré au marché français des métiers de la Data est notamment envisagé. L’idée serait de sélectionner quelques questions précises et d’y répondre à partir des données disponibles, en présentant également les limites méthodologiques.

Sentinel reste un projet évolutif, à la fois outil de veille, support d’analyse et terrain d’expérimentation autour des architectures de données et des méthodes statistiques.

Rapports et ressources

#

Les analyses et publications issues de Sentinel seront progressivement mises à disposition sur cette page.