FacileChoix unique

Question d'entraînement AI-900

Un data scientist entraîne un modèle de classification binaire pour distinguer des images de chats et de chiens. Sur le jeu de test, le modèle atteint une exactitude de 98%, mais une inspection plus approfondie révèle que le jeu de test contient 95% de chats et 5% de chiens, et que le modèle prédit 'cat' pour chaque image. Quelle métrique le data scientist doit-il prioriser pour obtenir une évaluation plus réaliste des performances du modèle sur ce jeu de données déséquilibré ?

Choisissez la meilleure réponse.

Bonne réponse

  • CF1-score

Explication

Le score F1 est la moyenne harmonique de la précision et du rappel, fournissant une métrique unique qui équilibre les deux lorsque les classes sont déséquilibrées. Dans ce scénario, l'exactitude est trompeusement élevée (98%) car le modèle prédit toujours la classe majoritaire (cat), atteignant une haute exactitude sans réellement apprendre à distinguer les chats des chiens. Le score F1 pénalise le modèle pour son faible rappel sur la classe minoritaire (dogs), offrant une évaluation plus réaliste de ses performances.

Pourquoi chaque option est juste ou fausse

A

Fausse

Precision

La précision mesure la proportion d'identifications positives qui étaient réellement correctes. Bien qu'utile, elle ne prend pas en compte les faux négatifs, elle peut donc rester élevée si le modèle prédit rarement la classe minoritaire, comme dans ce scénario.

B

Fausse

Recall

Le rappel mesure la proportion de positifs réels qui ont été identifiés correctement. Dans ce cas, le modèle a un rappel nul pour la classe des chiens car il ne prédit jamais 'dog', de sorte que le rappel seul serait de 0 pour les chiens mais de 100% pour les chats, donnant une image incomplète.

C

Juste

F1-score

Le score F1 combine la précision et le rappel en une seule métrique qui pénalise les valeurs extrêmes. Pour ce modèle, le score F1 de la classe minoritaire (dogs) serait très faible, révélant les piètres performances que l'exactitude masque.

D

Fausse

Accuracy

L'exactitude est le rapport entre les prédictions correctes et le total des prédictions. Dans ce jeu de données hautement déséquilibré, le modèle atteint 95% d'exactitude simplement en devinant toujours la classe majoritaire, ce qui ne reflète pas son incapacité à détecter les chiens.

Pour aller plus loin

Avec une répartition de 95/5 et un modèle qui prédit toujours 'cat', l'exactitude atteint 95% tandis que le rappel pour les chiens est nul ; par conséquent, le score F1, qui est la moyenne harmonique de la précision et du rappel, expose l'échec en tendant vers zéro dès qu'un composant est médiocre. La précision seule peut également induire en erreur car le modèle ne prédit jamais la classe minoritaire, rendant ses prédictions positives correctes de manière triviale. Une subtilité intéressante est que le F1 pondère la précision et le rappel de manière égale ; ainsi, si les faux négatifs sont plus coûteux que les faux positifs, le rappel ou un F1 pondéré par bêta peut être préféré. En pratique, un modèle de dépistage médical sur des données de maladies rares a besoin de ce type de métrique pour éviter de déployer un classificateur qui ne signale jamais la condition pour laquelle il a été conçu.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.