Prétraitement des données
Le prétraitement des données consiste à préparer les variables pour les rendre exploitables dans une analyse statistique ou un modèle de Machine Learning.
Valeurs manquantes, observations aberrantes, différences d’échelle ou distributions asymétriques : les données brutes nécessitent parfois plusieurs transformations avant d’être utilisées.
Ces opérations ne sont toutefois pas systématiques. Chaque transformation doit répondre à un problème identifié, sans altérer inutilement l’information contenue dans les données.
🧹 Nettoyage et traitement des données#
- Valeurs manquantes : identification, suppression et imputation.
- Valeurs aberrantes : détection, analyse et traitement.
📐 Mise à l’échelle et transformations#
- Mise à l’échelle et transformations des variables (
StandardScaler,MinMaxScaler,RobustScaler,PowerTransformer) - Transformation logarithmique(
log,log1p)
🧩 Préparation des variables#
- Encodage des variables catégorielles (
OneHotEncoder,OrdinalEncoder) - Discrétisation des variables numériques (
KBinsDiscretizer)
⚙️ Bonnes pratiques#
- Pipelines de prétraitement (
Pipeline,ColumnTransformer) - Fuites de données : séparation entraînement/test et validation croisée.
📚 Ressources complémentaires#
- scikit-learn - Preprocessing data : présentation des principales méthodes de transformation.
- scikit-learn - Common pitfalls : erreurs courantes, notamment les fuites de données.
- scikit-learn - Column Transformer : exemple de pipeline combinant plusieurs transformations.