Bonnes réponses
- ATraiter les valeurs manquantes en les imputant ou en les supprimant.
- BDiviser les données en ensembles d'entraînement, de validation et de test.
Explication
Les valeurs manquantes peuvent biaiser ou corrompre de nombreux algorithmes de ML, la meilleure pratique est donc de les traiter explicitement — soit par imputation (par exemple, moyenne, médiane, mode ou méthodes basées sur des modèles), soit en supprimant les lignes ou colonnes concernées lorsque cela est approprié. Diviser les données en ensembles d'entraînement, de validation et de test permet un ajustement impartial du modèle, le réglage des hyperparamètres et l'estimation finale des performances, évitant ainsi la fuite de données et le surapprentissage. Supprimer toutes les valeurs aberrantes n'est pas une bonne pratique car elles peuvent constituer un signal légitime ; les supprimer aveuglément peut fausser la distribution et réduire la robustesse, elles doivent donc être étudiées et traitées selon le contexte. S'entraîner sur l'ensemble du jeu de données n'est pas une bonne pratique car cela ne laisse aucune donnée de côté pour la validation ou le test, rendant impossible l'estimation fiable de la généralisation. Ne pas mélanger les données n'est pas une bonne pratique car le mélange est généralement nécessaire pour éliminer le biais d'ordre et garantir des mini-lots représentatifs, en particulier lorsque les données sont triées par classe ou par temps.
Pour aller plus loin
Bien préparer les données d'entraînement implique de traiter les valeurs manquantes en les imputant ou en les supprimant, et de diviser les données en ensembles d'entraînement, de validation et de test. Les valeurs manquantes peuvent biaiser un modèle si elles sont laissées telles quelles, et les choix d'imputation tels que la moyenne, la médiane ou les méthodes basées sur des modèles affectent les distributions apprises. La division entraînement/validation/test permet de régler les hyperparamètres sur les données de validation et d'estimer la généralisation sur des données de test mises de côté, réduisant ainsi le surapprentissage. Une subtilité : supprimer toutes les valeurs aberrantes n'est pas toujours correct car les valeurs aberrantes peuvent représenter de véritables événements rares que le modèle doit apprendre, et l'utilisation de l'ensemble du jeu de données pour l'entraînement ne laisse aucune évaluation impartiale. Cela importe dans le ML en production où la fuite ou des divisions non représentatives amènent les modèles à bien fonctionner hors ligne mais à échouer sur le trafic en direct.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AIF-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.