↓ Aller au contenu

Valeurs manquantes

Les valeurs manquantes sont fréquentes dans les données réelles. Elles peuvent venir d’un oubli, d’un refus de réponse, d’un problème technique ou d’une information simplement indisponible.

Avant de les remplacer, il faut surtout comprendre pourquoi elles sont absentes. Le mécanisme peut avoir des conséquences importantes sur les analyses.


1. Les mécanismes de valeurs manquantes
#

Little et Rubin distinguent trois mécanismes :

MécanismePrincipeExemple
MCAR (Missing Completely At Random)L’absence est indépendante des données.Un capteur tombe en panne aléatoirement.
MAR (Missing At Random)L’absence dépend de variables observées, mais pas de la valeur manquante une fois celles-ci prises en compte.La non-réponse sur le revenu dépend de l’âge, qui est connu.
MNAR (Missing Not At Random)L’absence dépend de la valeur non observée elle-même.Les personnes aux revenus élevés refusent davantage de déclarer leur revenu.

Ces mécanismes ne sont pas directement observables. Il est notamment difficile de distinguer MAR et MNAR à partir des seules données disponibles.

Plusieurs mécanismes peuvent aussi coexister dans un même jeu de données.

2. Diagnostiquer les valeurs manquantes
#

Avant toute correction, quelques vérifications sont utiles :

  • Quantifier : calculer le nombre et le pourcentage de valeurs manquantes par variable.
  • Visualiser : identifier les variables souvent manquantes ensemble.
  • Comparer : observer si les individus avec et sans valeurs manquantes présentent des caractéristiques différentes.
  • Comprendre : rechercher une explication dans le processus de collecte.

On peut également utiliser le test de Little pour vérifier si les données sont compatibles avec l’hypothèse MCAR.

  • Si la p-value est inférieure à 0,05, on rejette l’hypothèse MCAR au seuil de 5 %.
  • Sinon, on ne la rejette pas, sans pour autant démontrer que les données sont MCAR.

Ce test ne permet pas de distinguer MAR de MNAR.

3. Traiter les valeurs manquantes
#

Plusieurs approches existent :

MéthodePrincipeLimite
SuppressionRetirer les observations incomplètes.Perte d’information et risque de biais.
Imputation simpleRemplacer par la moyenne, la médiane, le mode ou une constante.Réduit artificiellement la variabilité.
Imputation par modèleEstimer les valeurs avec une régression, un KNN ou une forêt aléatoire.Dépend du modèle et de ses hypothèses.
Imputation multipleGénérer plusieurs jeux imputés, effectuer les analyses, puis combiner les résultats.Plus complexe, mais prend en compte l’incertitude.
ConservationGarder les valeurs manquantes ou ajouter un indicateur d’absence.Nécessite une méthode d’analyse adaptée.

L’imputation multiple, notamment avec MICE (Multiple Imputation by Chained Equations), est particulièrement utile en inférence statistique lorsque ses hypothèses sont raisonnables.

Il est parfois préférable de ne rien remplacer : une absence peut elle-même être informative.

Le choix dépend du mécanisme suspecté, de la proportion de valeurs manquantes et surtout de l’objectif : description, prédiction ou inférence.

4. Les précautions à prendre
#

Une imputation n’est jamais complètement neutre. Elle peut modifier les distributions, les corrélations et les résultats d’une analyse.

Il est donc utile de comparer les données avant et après traitement : moyennes, médianes, variances et relations entre variables. On peut également masquer artificiellement des valeurs connues pour évaluer certaines méthodes d’imputation.

En machine learning, l’imputation doit être ajustée uniquement sur les données d’entraînement, idéalement dans un Pipeline scikit-learn. En validation croisée, elle doit être recalculée sur chaque partition d’entraînement pour éviter les fuites de données (data leakage).

Certains modèles gèrent également les valeurs manquantes nativement.

5. Exemple avec pandas
#

Quelques commandes pour commencer le diagnostic :

# Nombre de valeurs manquantes
df.isna().sum()

# Pourcentage par variable
df.isna().mean().mul(100).sort_values(ascending=False)

# Proportion de lignes incomplètes
df.isna().any(axis=1).mean() * 100

Ces premières vérifications permettent de mesurer le problème avant de choisir un traitement.


À retenir
#

Une donnée manquante n’est pas automatiquement une erreur à corriger. Le plus important est de comprendre son origine et d’évaluer les conséquences du traitement choisi.


Références
#

  • Little, R. J. A. & Rubin, D. B. (2002). Statistical Analysis with Missing Data, 2e édition. Wiley. Référence théorique sur les mécanismes de données manquantes.
  • van Buuren, S. (2018). Flexible Imputation of Missing Data, 2e édition. CRC Press. Méthodes d’imputation, notamment MICE.
  • Glasson-Cicognani, M. & Berchtold, A. (2010). Imputation des données manquantes : comparaison de différentes approches. 42es Journées de Statistique, Marseille. Comparaison des méthodes par simulation.
Thibault CLEMENT - Intechnia
Auteur
Thibault CLEMENT - Intechnia
Data Scientist / ML Engineer