MoyenneChoix unique

Question d'entraînement AI-900

Un data scientist entraîne un modèle pour prédire si un client achètera un produit (Oui/Non). Le jeu de données contient 90 % de « Non » et 10 % de « Oui ». Après l'entraînement, le modèle atteint une précision de 90 %. Quelle métrique d'évaluation serait la plus informative pour évaluer les performances du modèle sur la classe minoritaire ?

Choisissez la meilleure réponse.

Bonne réponse

  • BF1 score

Explication

Dans ce jeu de données déséquilibré (90 % de « Non », 10 % de « Oui »), un modèle qui prédit toujours « Non » atteindrait une précision de 90 %, ce qui fait de la précision une métrique trompeuse. Le score F1 est la moyenne harmonique de la précision (precision) et du rappel (recall), spécifiquement conçu pour évaluer les performances d'un modèle sur la classe minoritaire en équilibrant les faux positifs et les faux négatifs. Il s'agit de la métrique la plus informative ici car elle mesure directement la capacité du modèle à identifier les achats rares de type « Oui » sans être gonflée par la classe majoritaire.

Pourquoi chaque option est juste ou fausse

A

Fausse

Mean Absolute Error (MAE)

La Mean Absolute Error (MAE) est une métrique de régression qui calcule la différence absolue moyenne entre les valeurs continues prédites et réelles. Elle n'est pas appropriée pour la classification binaire car la variable cible est catégorielle (par exemple, 0 ou 1 pour la présence ou l'absence de la condition), et non une grandeur numérique. L'utilisation de la MAE traiterait les probabilités prédites comme s'il s'agissait d'erreurs continues, mais elle ne peut pas déterminer si le modèle attribue correctement l'étiquette de classe réelle, et elle ne reflète pas non plus l'équilibre précision-rappel nécessaire pour les classes déséquilibrées. Par conséquent, la MAE n'est pas pertinente pour évaluer un classifieur.

B

Juste

F1 score

Le score F1 est la moyenne harmonique de la précision et du rappel, accordant un poids égal aux deux métriques. Il est particulièrement précieux lorsque le jeu de données est déséquilibré, car il pénalise directement les faux positifs et les faux négatifs du point de vue de la classe minoritaire. Contrairement à la précision, le score F1 ne laisse pas un biais de classe majoritaire dominer l'évaluation, puisqu'il ne prend en compte que la précision et le rappel de la classe positive. Par conséquent, il fournit un chiffre unique et interprétable qui reflète la capacité du modèle à détecter le résultat rare (positif) tout en maintenant la fiabilité de ses prédictions positives.

C

Fausse

Area Under the Curve (AUC)

L'Area Under the Curve (AUC) résume la capacité discriminante du modèle sur tous les seuils de classification en mesurant la probabilité qu'une instance positive choisie au hasard soit classée plus haut qu'une instance négative choisie au hasard. Cependant, l'AUC n'indique pas les performances du modèle au seuil de décision spécifique utilisé pour les prédictions réelles, et elle peut paraître élevée même lorsque le rappel ou la précision de la classe minoritaire est médiocre à ce seuil choisi. Pour les jeux de données déséquilibrés, le score F1 est plus directement interprétable car il reflète le compromis exact entre précision et rappel au point de fonctionnement déployé, tandis que l'AUC est un agrégat indépendant du seuil.

D

Fausse

R-squared

Le R-squared (coefficient de détermination) mesure la proportion de variance dans une cible continue expliquée par un modèle de régression, en comparant la variance résiduelle à la variance totale de la variable dépendante. En classification binaire, le résultat n'est pas une variable continue, de sorte que le concept de « variance expliquée » n'a aucun sens ; un résultat comportant seulement deux catégories ne peut pas avoir de structure d'erreur gaussienne. De plus, le R-squared peut être négatif ou artificiellement bas lorsqu'il est appliqué aux sorties probabilistes d'un classifieur, ce qui en fait une métrique invalide et trompeuse pour cette tâche prédictive.

Pour aller plus loin

L'évaluation de modèles pour la classification déséquilibrée est subtile, car la métrique de précision standard peut être trompeusement élevée lorsque la classe minoritaire est rare ; un modèle qui prédit toujours la classe majoritaire peut atteindre une haute précision tout en passant complètement à côté de l'événement d'intérêt. La précision et le rappel offrent une vision plus nuancée : la précision mesure le nombre de positifs prédits qui sont réellement positifs, tandis que le rappel mesure le nombre de positifs réels capturés par le modèle. Le score F1 équilibre ces deux mesures à l'aide de la moyenne harmonique, qui pénalise fortement les valeurs faibles de l'une ou l'autre — par exemple, si la précision ou le rappel est égal à 0, le score F1 devient 0, même si l'autre métrique est parfaite. Une subtilité clé est que le score F1 dépend du seuil : il change avec le seuil de probabilité utilisé pour convertir les scores du modèle en étiquettes de classe, et les praticiens doivent ajuster ce seuil pour correspondre au coût métier des faux positifs par rapport aux faux négatifs. En revanche, l'AUC (ou PR-AUC) résume les performances sur tous les seuils, ce qui peut être utile pour la sélection de modèles, mais le score F1 fournit la métrique opérationnelle qui reflète les prédictions du monde réel à un seuil choisi. Une idée fausse courante est que le score F1 est universellement supérieur ; cependant, dans les jeux de données extrêmement déséquilibrés, les courbes de précision-rappel sont souvent plus informatives que les courbes ROC, car le taux de vrais négatifs de la ROC peut dominer en raison du grand nombre d'exemples négatifs.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.