L’une des étapes d’un pipeline de machine learning consiste en la normalisation des données, juste avant l’entraînement d’un modèle.
On rencontre rapidement des termes comme :
- normalisation,
- standardisation,
- log transformation,
- Box-Cox,
- z-score,
- min-max scaling.
Le problème est que ces notions sont souvent mélangées alors qu’elles répondent à des objectifs très différents :
- Certaines méthodes servent à préparer les données pour le machine learning.
- D’autres modifient la distribution statistique des variables.
- D’autres enfin sont simplement des statistiques normalisées utilisées pour l’inférence statistique.
Comprendre cette distinction permet de choisir la bonne technique selon le problème rencontré.
Trois familles à distinguer #
On peut regrouper la plupart des méthodes en trois catégories :
| Famille | Objectif |
|---|---|
| Standardisation et mise à l’échelle | Modifier l’échelle des variables |
| Transformations statistiques | Modifier la distribution des données |
| Statistiques normalisées | Construire des indicateurs comparables |
Ces familles sont souvent confondues sous le terme générique de « normalisation », mais leurs objectifs sont très différents.
1. Standardisation et mise à l’échelle #
Cette famille regroupe les méthodes dont le but principal est de rendre les variables comparables en termes d’échelle.
La forme globale de la distribution est généralement conservée.
Imaginons un jeu de données contenant :
| Variable | Valeurs |
|---|---|
| Âge | 18 à 80 |
| Salaire | 20 000 à 200 000 |
| Population | 1 000 à 10 000 000 |
Certaines variables dominent complètement les autres uniquement à cause de leur unité de mesure.
De nombreux algorithmes sont sensibles à ce problème :
- KNN
- K-Means
- PCA
- SVM
- Réseaux de neurones
1.1 Standardisation (Z-score) #
La méthode la plus utilisée consiste à centrer et réduire les données :
\[ Z=\frac{X-\mu}{\sigma} \]
Après transformation :
\[ \mu=0 \text{ et }\sigma=1 \]
Effets statistiques
Conserve :
- l’ordre des observations,
- l’asymétrie (skewness),
- le kurtosis,
- les corrélations.
Modifie :
- la moyenne,
- la variance.
Quand l’utiliser ?
C’est généralement le choix par défaut pour :
- PCA,
- régression,
- SVM,
- clustering,
- réseaux de neurones.
1.2 Min-Max Scaling #
Cette méthode ramène les données dans un intervalle fixe :
\[ X’=\frac{X-X_{min}} {X_{max}-X_{min}} \]
La plage devient :
\[ [0,1] \]
Effets statistiques
Conserve :
- les rangs,
- la forme globale de la distribution.
Modifie :
- moyenne,
- variance.
Limite
Très sensible aux valeurs extrêmes.
Une seule observation aberrante peut écraser toute la dynamique du reste des données.
1.3 Robust Scaling #
Lorsque les données contiennent beaucoup d’outliers, une alternative consiste à utiliser :
\[ X’= \frac{X-\text{Médiane}} {Q_{75}-Q_{25}} \]
où :
\[ IQR=Q_{75}-Q_{25} \]
Effets statistiques
Conserve :
- l’ordre,
- la forme générale.
Réduit fortement l’influence des valeurs extrêmes.
Quand l’utiliser ?
Souvent préférable au z-score lorsque les données sont très bruitées.
2. Transformations statistiques #
Contrairement aux méthodes précédentes, ces techniques cherchent à modifier la distribution des données.
L’objectif n’est plus seulement de changer l’échelle mais de rendre la variable plus exploitable statistiquement.
Pourquoi modifier une distribution ?
Les données réelles présentent souvent :
- une forte asymétrie,
- des queues longues,
- une variance non constante,
- des valeurs extrêmes.
Ces propriétés peuvent compliquer certaines analyses statistiques.
2.1 Log Transformation #
La transformation logarithmique est probablement la plus connue. Voir cet autre article pour plus de détails : Log-Transform
\[ X’=\log(X) \]
Effets statistiques
Souvent :
- réduit l’asymétrie,
- réduit le kurtosis,
- réduit l’influence des valeurs extrêmes,
- stabilise la variance.
Cas d’usage
Très fréquente pour :
- revenus,
- prix immobiliers,
- ventes,
- trafic web,
- populations.
2.2 Box-Cox #
Transformation paramétrique :
\[ X’= \frac{X^\lambda-1}{\lambda} \]
Le paramètre \(\lambda\) est choisi automatiquement afin de rapprocher la distribution d’une loi normale.
Effets statistiques
Cherche à :
- réduire le skewness,
- réduire le kurtosis,
- améliorer la normalité.
Limitation
Ne fonctionne que pour les valeurs strictement positives.
2.3 Yeo-Johnson #
Version moderne de Box-Cox.
Elle accepte :
- les zéros,
- les valeurs négatives.
Pourquoi est-elle populaire ?
Parce qu’elle peut être utilisée directement dans la plupart des jeux de données sans prétraitement particulier.
2.4 Quantile Transformation #
Cette méthode transforme les données selon leur rang.
On peut obtenir :
- une distribution uniforme,
- une distribution normale.
Effets statistiques
Transforme profondément la distribution.
Le skewness et le kurtosis d’origine disparaissent presque totalement.
Limitation
Les distances originales entre observations sont perdues.
3. Statistiques normalisées #
Cette troisième catégorie est souvent confondue avec les techniques de prétraitement.
Pourtant, ces méthodes ne servent généralement pas à transformer les données avant un modèle.
Elles servent à construire des indicateurs comparables.
3.1 Z-Score #
\[ Z= \frac{X-\mu}{\sigma} \]
Le z-score peut être vu :
- comme une standardisation,
- mais aussi comme une statistique.
Il mesure le nombre d’écarts-types séparant une observation de la moyenne.
Interprétation
\[ Z=2 \]
signifie :
L’observation se situe deux écarts-types au-dessus de la moyenne.
3.2 Student’s t-statistic #
\[ t= \frac{\hat{\beta}-\beta_0} {SE(\hat{\beta})} \]
Utilisation
Tests statistiques :
- t-test,
- ANOVA,
- régression linéaire.
Interprétation
Mesure combien une estimation s’écarte d’une valeur théorique en tenant compte de son incertitude.
3.3 Résidus Studentisés #
\[ r_i= \frac{e_i}{\hat{\sigma_i}} \]
Utilisés pour :
- détecter les outliers,
- analyser la qualité d’une régression,
- identifier les observations influentes.
3.4 Coefficient de variation #
\[ CV= \frac{\sigma}{\mu} \]
Utilité
Comparer la dispersion relative entre variables ayant des unités ou des ordres de grandeur différents.
3.5 Moments standardisés #
Les moments décrivent la forme d’une distribution.
Les plus importants sont :
| Ordre | Mesure |
|---|---|
| 1 | Moyenne |
| 2 | Variance |
| 3 | Skewness |
| 4 | Kurtosis |
Skewness
\[ \frac{E[(X-\mu)^3]} {\sigma^3} \]
Mesure l’asymétrie.
Kurtosis
\[ \frac{E[(X-\mu)^4]} {\sigma^4} \]
Mesure l’importance des queues de distribution et la fréquence des valeurs extrêmes.
Quel impact sur les propriétés statistiques ? #
| Méthode | Moyenne | Variance | Skewness | Kurtosis |
|---|---|---|---|---|
| Z-score | devient 0 | devient 1 | conservé | conservé |
| Min-Max | modifiée | modifiée | conservé | conservé |
| Robust Scaling | modifiée | modifiée | conservé | conservé |
| Log | modifiée | réduite | souvent réduit | souvent réduit |
| Box-Cox | modifiée | modifiée | réduit | réduit |
| Yeo-Johnson | modifiée | modifiée | réduit | réduit |
| Quantile Normal | proche 0 | proche 1 | proche 0 | proche 3 |
Quelle méthode choisir ? #
Il n’existe pas de transformation universelle.
En pratique :
| Situation | Méthode recommandée |
|---|---|
| Données classiques | StandardScaler |
| Nombreux outliers | RobustScaler |
| Forte asymétrie | Log ou Yeo-Johnson |
| PCA | StandardScaler |
| KNN / K-Means | StandardScaler |
| Régression classique | StandardScaler + éventuellement Log |
| Arbres de décision | Souvent aucune transformation nécessaire |
En conclusion #
Le terme « normalisation » recouvre en réalité plusieurs familles de techniques très différentes.
Certaines modifient simplement l’échelle des variables.
D’autres modifient la forme même de la distribution.
D’autres enfin ne sont pas des transformations de données mais des statistiques utilisées pour mesurer ou comparer certains phénomènes.
Avant d’appliquer une méthode, il est donc essentiel de se poser une question simple :
Cherche-t-on à changer l’échelle des données, à modifier leur distribution, ou à construire une statistique interprétable ?
La réponse permet généralement d’identifier immédiatement la bonne famille d’outils à utiliser.
