MoyenneChoix multiples

Question d'entraînement AI-102

Vous déployez un modèle de classification de texte personnalisé Azure AI Language. Vous devez vous assurer que le modèle répond aux exigences de performance avant de le promouvoir en production. Quelles sont les deux actions à entreprendre ? (Choisissez deux).

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • AÉvaluez le modèle sur un jeu de test de réserve qui n'a pas été utilisé lors de l'entraînement.
  • BExaminez la matrice de confusion pour comprendre quelles classes sont fréquemment mal classées.

Explication

L'option A est correcte car l'évaluation du modèle de classification de texte personnalisé sur un jeu de test de réserve qui n'a pas été utilisé pendant l'entraînement fournit une estimation non biaisée des performances de généralisation, ce qui est essentiel avant de promouvoir le modèle en production. L'option B est correcte car l'examen de la matrice de confusion révèle des modèles de précision et de rappel par classe et montre exactement quelles classes sont fréquemment mal classées, permettant des améliorations ciblées des données ou des étiquettes. L'option C est incorrecte car Azure AI Language n'impose pas de seuil de précision fixe de 95 % sur une division de validation croisée ; les objectifs de performance sont spécifiques au scénario et la validation croisée n'est pas le flux de travail d'évaluation standard pour ce service. L'option D est incorrecte car le calcul de la précision sur le jeu d'entraînement mesure la mémorisation plutôt que la généralisation et sera biaisé de manière optimiste. L'option E est incorrecte car la comparaison avec une référence de classe majoritaire est une vérification de bon sens utile, mais ce n'est pas l'une des actions requises pour valider un modèle de classification de texte personnalisé avant la production.

Pourquoi chaque option est juste ou fausse

A

Juste

Évaluez le modèle sur un jeu de test de réserve qui n'a pas été utilisé lors de l'entraînement.

L'évaluation sur un jeu de test de réserve jamais vu pendant l'entraînement produit des scores non biaisés de précision, de rappel et F1, confirmant que le modèle se généralise plutôt que de mémoriser les données d'entraînement. Cette étape de validation doit être franchie avant la promotion en production, ce qui satisfait à l'exigence de vérification des performances.

B

Juste

Examinez la matrice de confusion pour comprendre quelles classes sont fréquemment mal classées.

La matrice de confusion expose la précision et le rappel par classe, révélant les catégories que le modèle confond le plus souvent. Son examen satisfait directement l'exigence de l'énoncé de vérifier les performances avant la promotion, car les métriques agrégées seules masquent les faiblesses au niveau des classes qui affecteraient la précision en production.

C

Fausse

Assurez-vous que le modèle atteint une précision d'au moins 95 % sur une division de validation croisée.

La précision seule peut être trompeuse, en particulier avec des classes déséquilibrées ; la précision et le rappel sont plus importants.

D

Fausse

Utilisez le jeu d'entraînement pour calculer la précision et assurez-vous qu'elle dépasse 90 %.

Les performances sur le jeu d'entraînement sont gonflées et ne reflètent pas la généralisation.

E

Fausse

Comparez les performances du modèle à un modèle de référence qui prédit toujours la classe la plus courante.

Bien que la comparaison avec une référence soit utile, ce n'est pas une action requise avant la promotion ; la question demande des actions pour garantir les exigences de performance.

Pour aller plus loin

La classification de texte personnalisé Azure AI Language entraîne un modèle sur des énoncés étiquetés et rapporte la précision, le rappel et le score F1 par classe. L'évaluation sur un jeu de test de réserve jamais vu pendant l'entraînement donne une estimation non biaisée de la généralisation, tandis que l'inspection de la matrice de confusion révèle des confusions systématiques entre paires de classes spécifiques, guidant l'augmentation des données ou le nettoyage des étiquettes. Le calcul de la précision sur le jeu d'entraînement est trompeur car il mesure la mémorisation, non la généralisation, et un seuil fixe de 95 % est arbitraire et ne constitue pas une exigence documentée. Une référence de classe majoritaire est un contexte utile mais ne fait pas partie des deux actions de validation requises. En pratique, un faible rappel par classe sur une classe rare importe souvent plus que la précision globale, en particulier dans les scénarios de classification déséquilibrés.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-102 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.