MoyenneChoix unique

Question d'entraînement AI-900

Un data scientist entraîne un modèle de classification binaire pour détecter les transactions frauduleuses. Le jeu de données contient 99 % de transactions légitimes (classe négative) et 1 % de transactions frauduleuses (classe positive). Le modèle prédit 'légitime' pour chaque transaction de l'ensemble de test et atteint une exactitude de 99 %. Quelle métrique révélerait le mieux que le modèle ne parvient à identifier aucune transaction frauduleuse ?

Choisissez la meilleure réponse.

Bonne réponse

  • CRappel

Explication

Le rappel (également connu sous le nom de sensibilité ou taux de vrais positifs) mesure la proportion de cas positifs réels (transactions frauduleuses) que le modèle identifie correctement. Avec une exactitude de 99 % mais aucun vrai positif, le rappel est de 0 %, ce qui révèle immédiatement l'échec total du modèle à détecter la fraude. Dans Azure Machine Learning, le volet des métriques de classification afficherait rappel = 0,0 pour la classe positive, mettant en évidence ce problème malgré une exactitude élevée.

Pourquoi chaque option est juste ou fausse

A

Fausse

Exactitude

L'exactitude affiche 99 % car la majorité légitime de 99 % est classée correctement, masquant ainsi une détection de fraude nulle. C'est tentant puisque l'exactitude est la métrique par défaut, mais en cas de déséquilibre des classes, elle reflète la dominance de la classe majoritaire plutôt que les performances sur la classe positive.

B

Fausse

Précision

La précision mesure la proportion de fraudes prédites qui sont réellement frauduleuses ; prédire aucun positif la laisse indéfinie, et elle ignore entièrement les fraudes manquées. C'est tentant parce que les équipes de lutte contre la fraude se soucient des fausses alarmes, mais le rappel expose les transactions frauduleuses non détectées.

C

Juste

Rappel

Le rappel mesure la proportion de transactions frauduleuses réelles correctement identifiées. Avec une classe positive de 1 %, prédire tous les négatifs donne une exactitude de 99 % mais un rappel nul, exposant l'échec total du modèle à détecter la fraude. Cela répond au besoin d'une métrique sensible au déséquilibre des classes.

D

Fausse

Score F1

Le score F1 combine la précision et le rappel, donc avec zéro vrai positif, les deux sont indéfinis et le score s'effondre à zéro, mais il masque quel échec s'est produit. C'est tentant en tant que mesure équilibrée, pourtant le rappel seul expose directement les cas de fraude manqués.

Pour aller plus loin

Avec un déséquilibre de classes de 99:1, un prédicteur trivial de classe majoritaire atteint une exactitude de 99 % tandis que son rappel pour la classe positive est exactement nul, car le rappel est défini par TP/(TP+FN) et il n'y a pas de vrais positifs. La précision n'est pas définie ou n'a aucun sens ici puisque le modèle ne prédit jamais de positif, et le score F1 s'effondre également à zéro, mais le rappel est la métrique qui expose directement les fraudes manquées. L'exactitude est dominée par les négatifs abondants et masque l'échec. En pratique, les équipes de fraude surveillent le rappel parallèlement à l'aire sous la courbe précision-rappel (PR-AUC) et peuvent rééchantillonner, appliquer des pondérations de classes ou ajuster le seuil de décision afin que le modèle signale effectivement les cas positifs rares qui comptent financièrement.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.