DifficileChoix unique

Question d'entraînement MLA-C01

Un ingénieur en machine learning construit un modèle de prévision de séries temporelles pour prédire les ventes quotidiennes pour les 30 prochains jours. Le jeu de données couvre deux ans de données de ventes quotidiennes. Pour évaluer la performance du modèle, l'ingénieur doit simuler un scénario de prévision réaliste où le modèle est entraîné sur des données passées et testé sur des données futures sans fuite. Quelle stratégie de séparation des données doit-il utiliser ?

Choisissez la meilleure réponse.

Bonne réponse

  • BValidation walk-forward avec une fenêtre extensible

Explication

La validation « walk-forward » avec une fenêtre extensible respecte l'ordre temporel des données de séries temporelles en s'entraînant sur toutes les données jusqu'au temps t et en testant sur la période suivante, puis en étendant l'ensemble d'entraînement vers l'avant. Cela simule le scénario de prévision réel où le modèle ne voit que les données passées lors de la prédiction du futur, et cela empêche la fuite que des séparations aléatoires introduiraient. Pour un horizon de prévision de 30 jours sur deux ans de données quotidiennes, c'est l'approche standard.

Pourquoi chaque option est juste ou fausse

A

Fausse

Validation hold-out utilisant une séparation aléatoire 80/20

Une séparation aléatoire 80/20 mélange les jours sur les deux années, donc le modèle s'entraîne sur des jours qui viennent après certains jours de test et apprend des informations sur le futur. Les caractéristiques décalées et mobiles fuient également à travers la séparation. Les scores semblent meilleurs que la performance réelle, car en production, le modèle ne voit que le passé. L'évaluation des séries temporelles nécessite des séparations chronologiques.

B

Juste

Validation walk-forward avec une fenêtre extensible

La validation walk-forward s'entraîne sur les données jusqu'à une coupure, prévoit les 30 jours suivants, enregistre l'erreur, puis déplace la coupure vers l'avant, ajoutant les nouvelles données à l'entraînement, et répète. Elle reflète la façon dont le modèle sera utilisé et réentraîné, montre la performance sur différentes périodes, y compris les pics saisonniers, et ne laisse jamais les données futures entrer dans l'entraînement. Ajoutez un écart entre les jeux lors de l'utilisation de caractéristiques décalées.

C

Fausse

Échantillonnage stratifié basé sur le volume des ventes

L'échantillonnage stratifié maintient les proportions d'une catégorie, telles que les classes ou les bandes de ventes, identiques à travers les séparations, ce qui aide pour la classification déséquilibrée. Il assigne toujours les jours aux séparations de manière aléatoire, ignorant l'ordre temporel, donc des jours futurs finissent dans l'entraînement. Pour la prévision, l'ordre des observations compte plus que l'équilibrage de leurs valeurs.

D

Fausse

Validation croisée k-fold avec mélange aléatoire

La validation croisée k-fold mélangée suppose que les observations sont indépendantes et interchangeables, ce que les séries temporelles ne sont pas. Chaque pli s'entraînerait sur des jours après ses jours de test, faisant fuiter le futur. La validation croisée de séries temporelles, telle que TimeSeriesSplit de scikit-learn, maintient chaque fenêtre de validation après sa fenêtre d'entraînement, donnant une estimation honnête de la précision de prévision. Le mélange doit être évité pour toute donnée ayant un ordre temporel.

Pour aller plus loin

Les données de séries temporelles ont un ordre qui compte : chaque observation dépend de ce qui est venu avant, et en utilisation réelle, le modèle prédit toujours le futur à partir du passé. La séparation aléatoire brise cela, car les données d'entraînement incluent alors des jours après certains jours de test, donc le modèle voit effectivement le futur, et des caractéristiques telles que les décalages ou les moyennes mobiles font fuiter des informations à travers la séparation. Les scores résultants sont optimistes et irréalistes. La validation « walk-forward », aussi appelée « rolling-origin » ou validation croisée de séries temporelles, respecte l'ordre. Avec une fenêtre extensible, vous vous entraînez sur des données jusqu'à un point, par exemple les 12 premiers mois, prévoyez l'horizon suivant, les 30 jours suivants, enregistrez l'erreur, puis déplacez la coupure vers l'avant, ajoutez les nouvelles données à l'entraînement, et répétez. Faire la moyenne des erreurs sur les plis montre comment le modèle se comporte à différents moments, y compris les périodes saisonnières, et reflète comment il sera réentraîné en production. C'est l'option B. Une fenêtre glissante, qui maintient la longueur d'entraînement fixe, est une alternative lorsque les données plus anciennes deviennent moins pertinentes. Utilisez des métriques adaptées à la prévision, telles que MAPE, l'erreur absolue en pourcentage pondérée ou RMSE, et comparez par rapport à une base de référence naïve, telle que le même jour de l'année dernière. Ajoutez également un écart entre les jeux d'entraînement et de test lorsque les caractéristiques utilisent des valeurs décalées, afin qu'aucune information ne traverse la frontière. Les distracteurs mélangent tous le temps. Une séparation aléatoire 80/20 (option A), l'échantillonnage stratifié (option C) et la k-fold mélangée (option D) mélangent toutes les données passées et futures. TimeSeriesSplit de scikit-learn implémente des séparations à fenêtre extensible, et le backtesting de style SageMaker Canvas et Amazon Forecast fonctionne sur le même principe.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.