En Data Science, les variables n’ont pas toujours la même échelle ni la même distribution.
Un jeu de données peut contenir des âges compris entre 18 et 80 ans, des revenus entre 20 000 et 200 000 € et des populations de plusieurs millions d’habitants.
Ces différences peuvent perturber certains algorithmes de Machine Learning ou compliquer l’analyse statistique.
Deux grandes familles de transformations permettent d’y répondre :
- La mise à l’échelle : modifier l’ordre de grandeur des variables sans changer la forme de leur distribution.
- Les transformations statistiques : modifier la forme de la distribution, notamment son asymétrie.
Ces opérations répondent à des objectifs différents et ne sont pas systématiquement nécessaires.
1. Mise à l’échelle des variables#
Les algorithmes qui utilisent des distances, comme KNN, K-Means ou les SVM, peuvent accorder une importance excessive aux variables ayant les valeurs numériques les plus élevées.
La mise à l’échelle permet de limiter ce problème.
Standardisation (StandardScaler)#
La standardisation consiste à soustraire la moyenne, puis à diviser par l’écart-type :
$$ Z = \frac{X-\mu}{\sigma} $$
Sur les données utilisées pour calculer ces paramètres, la variable transformée possède une moyenne de 0 et une variance de 1, sauf cas particulier d’une variable constante.
Cela ne signifie pas que la distribution devient normale.
À utiliser notamment pour : PCA, KNN, K-Means, SVM et modèles linéaires régularisés.
Min-Max Scaling#
La transformation Min-Max ramène les valeurs dans un intervalle défini, généralement [0,1] :
$$ X’ = \frac{X-X_{\min}}{X_{\max}-X_{\min}} $$
Elle conserve les proportions entre les distances, mais reste très sensible aux valeurs extrêmes.
Robust Scaling#
Une alternative consiste à utiliser la médiane et l’écart interquartile :
$$ X’ = \frac{X-\operatorname{Mediane}(X)}{Q_{75}-Q_{25}} $$
Cette méthode est moins sensible aux valeurs aberrantes lors de l’estimation des paramètres de transformation.
Attention : elle ne supprime pas les valeurs aberrantes et ne garantit pas leur absence d’influence sur le modèle.
Un exemple concret#
Considérons cinq observations :
20, 25, 30, 35, 300
La dernière valeur est très éloignée des autres.
| Méthode | 20 | 25 | 30 | 35 | 300 |
|---|---|---|---|---|---|
| Min-Max | 0 | 0,018 | 0,036 | 0,054 | 1 |
| RobustScaler | -1 | -0,5 | 0 | 0,5 | 27 |
Avec Min-Max, les quatre premières observations se retrouvent regroupées près de zéro.
Avec RobustScaler, leurs écarts restent davantage visibles. En revanche, la valeur 300 reste une observation extrême.
Cet exemple illustre pourquoi le choix de la transformation dépend de la distribution des données.
2. Transformations statistiques#
Les méthodes précédentes conservent la forme de la distribution. D’autres transformations peuvent la modifier.
Elles sont notamment utiles lorsqu’une variable présente une forte asymétrie ou une dispersion croissante avec son niveau.
Transformation logarithmique#
$$ X’ = \log(X) $$
Le logarithme comprime davantage les grandes valeurs que les petites.
Il est particulièrement utile pour certaines variables positives, comme les revenus, les prix ou les populations.
Pour les variables positives ou nulles, on peut également utiliser :
$$ X’ = \log(1+X) $$
Cette transformation peut réduire une asymétrie à droite, mais ce résultat n’est pas automatique.
Box-Cox et Yeo-Johnson#
Ces méthodes utilisent une transformation paramétrique dont le paramètre est estimé à partir des données.
| Méthode | Particularité |
|---|---|
| Box-Cox | Nécessite des valeurs strictement positives |
| Yeo-Johnson | Accepte les valeurs positives, nulles et négatives |
Elles cherchent notamment à réduire l’asymétrie et peuvent rapprocher une distribution d’une loi normale, sans le garantir.
Transformation par quantiles#
QuantileTransformer utilise la distribution empirique des valeurs pour obtenir une distribution approximativement uniforme ou normale.
Elle transforme fortement les distances entre observations et peut perdre une partie de l’information portée par les écarts d’origine.
C’est donc une méthode à utiliser avec discernement.
3. Quelle transformation choisir ?#
| Situation | Approche possible |
|---|---|
| KNN, K-Means, SVM | StandardScaler comme point de départ |
| PCA | Généralement StandardScaler |
| Valeurs extrêmes importantes | Examiner RobustScaler |
| Forte asymétrie positive | Log ou log1p |
| Asymétrie avec valeurs négatives | Yeo-Johnson |
| Distribution très irrégulière | Évaluer QuantileTransformer |
| Arbres de décision et Random Forest | Souvent aucune mise à l’échelle nécessaire |
Ces recommandations sont des points de départ, pas des règles absolues.
Il ne faut pas non plus chercher systématiquement à obtenir des variables normalement distribuées. La pertinence d’une transformation dépend du modèle, de ses hypothèses et de l’objectif poursuivi.
Par exemple, une régression linéaire ordinaire n’exige pas que chaque variable explicative suive une loi normale.
4. Application avec scikit-learn#
Les principales méthodes sont disponibles dans sklearn.preprocessing.
Voici un exemple de standardisation intégrée à un pipeline :
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
pipeline = make_pipeline(
StandardScaler(),
LogisticRegression()
)
pipeline.fit(X_train, y_train)
predictions = pipeline.predict(X_test)Le pipeline apprend les paramètres de standardisation uniquement sur les données d’entraînement, puis applique la même transformation aux données de test.
Cette précaution évite une fuite d’information susceptible de fausser l’évaluation du modèle.
Bonne pratique : réaliser la séparation entraînement/test avant d’ajuster les transformations et intégrer ces dernières dans un pipeline, y compris lors de la validation croisée.
À retenir#
La mise à l’échelle et les transformations statistiques ne résolvent pas les mêmes problèmes.
- StandardScaler, MinMaxScaler et RobustScaler agissent principalement sur l’échelle des variables.
- Log, Box-Cox, Yeo-Johnson et QuantileTransformer peuvent modifier leur distribution.
- Aucune méthode n’est universelle : le choix doit être motivé par les propriétés des données et les exigences du modèle.
Enfin, une transformation ne remplace jamais une analyse préalable de la distribution ni un traitement raisonné des valeurs aberrantes.