FacileChoix unique

Question d'entraînement AI-900

Quel est l'objectif d'un jeu de données de test dans le développement de modèles de machine learning ?

Choisissez la meilleure réponse.

Bonne réponse

  • BFournir une évaluation finale impartiale du modèle entraîné sur des données inédites

Explication

Le jeu de données de test est utilisé pour fournir une évaluation finale impartiale du modèle entraîné sur des données inédites. C'est essentiel en machine learning car le modèle n'a jamais vu les exemples de test pendant l'entraînement ou la validation, de sorte que les métriques d'évaluation (par exemple, accuracy, precision, recall) reflètent la véritable capacité de généralisation du modèle. Dans Azure Machine Learning, le jeu de données de test est généralement séparé des données d'origine avant le début de tout entraînement et n'est utilisé qu'une seule fois à la fin du cycle de vie de développement du modèle.

Pourquoi chaque option est juste ou fausse

A

Fausse

Fournir des exemples supplémentaires pour entraîner le modèle

Les données de test sont retenues hors de l'entraînement afin de pouvoir mesurer la généralisation à des exemples inédits ; les injecter dans l'entraînement divulguerait ces exemples et gonflerait la précision rapportée. Les exemples d'entraînement supplémentaires appartiennent à l'ensemble d'entraînement, les données de validation étant utilisées pour le réglage.

B

Juste

Fournir une évaluation finale impartiale du modèle entraîné sur des données inédites

Un jeu de données de test est retenu hors de l'entraînement et du réglage des hyperparamètres, puis utilisé une seule fois pour estimer la manière dont le modèle se généralise à des données inédites. Cela satisfait l'exigence de la question pour une évaluation finale impartiale, contrairement aux données de validation, qui guident la sélection du modèle et divulguent par conséquent des informations.

C

Fausse

Ajuster les hyperparamètres et sélectionner la meilleure version du modèle

Le réglage des hyperparamètres et la sélection du modèle nécessitent un jeu de données de validation, qui est évalué de manière répétée pendant le développement. Un jeu de données de test est maintenu intact jusqu'à l'évaluation finale, de sorte que l'utiliser pour le réglage divulguerait des informations et biaiserait les performances rapportées.

D

Fausse

Surveiller les performances du modèle après le déploiement

La surveillance post-déploiement utilise le trafic de production en direct et des métriques, et non un jeu de test fixe mis de côté. Un jeu de données de test est isolé avant l'entraînement et utilisé une seule fois pour estimer les performances sur des données inédites, de sorte qu'il ne peut pas suivre un modèle déployé.

Pour aller plus loin

L'ensemble de test est mis de côté avant tout entraînement et n'est manipulé qu'une seule fois, tout à la fin, pour estimer l'erreur de généralisation. Comme le modèle ne voit jamais ces exemples lors de l'ajustement, la métrique résultante approxime les performances sur des données réellement inédites, c'est pourquoi il ne doit pas être utilisé pour les mises à jour de gradient ou la recherche d'hyperparamètres. Un piège subtil : si vous évaluez de manière répétée sur l'ensemble de test et choisissez le modèle ayant le meilleur score, vous divulguez des informations et l'estimation devient biaisée de manière optimiste ; c'est pourquoi un ensemble de validation séparé (ou validation croisée) est utilisé pour l'ajustement. Dans un scénario réel, une équipe de détection des fraudes s'entraîne sur 70 % des transactions, effectue le réglage sur 15 % et rapporte la precision et le recall finaux sur la division de test intouchée de 15 % avant le déploiement.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.