Bonne réponse
Explication
Dans ce jeu de données déséquilibré (90 % de « Non », 10 % de « Oui »), un modèle qui prédit toujours « Non » atteindrait une précision de 90 %, ce qui fait de la précision une métrique trompeuse. Le score F1 est la moyenne harmonique de la précision (precision) et du rappel (recall), spécifiquement conçu pour évaluer les performances d'un modèle sur la classe minoritaire en équilibrant les faux positifs et les faux négatifs. Il s'agit de la métrique la plus informative ici car elle mesure directement la capacité du modèle à identifier les achats rares de type « Oui » sans être gonflée par la classe majoritaire.
Pour aller plus loin
L'évaluation de modèles pour la classification déséquilibrée est subtile, car la métrique de précision standard peut être trompeusement élevée lorsque la classe minoritaire est rare ; un modèle qui prédit toujours la classe majoritaire peut atteindre une haute précision tout en passant complètement à côté de l'événement d'intérêt. La précision et le rappel offrent une vision plus nuancée : la précision mesure le nombre de positifs prédits qui sont réellement positifs, tandis que le rappel mesure le nombre de positifs réels capturés par le modèle. Le score F1 équilibre ces deux mesures à l'aide de la moyenne harmonique, qui pénalise fortement les valeurs faibles de l'une ou l'autre — par exemple, si la précision ou le rappel est égal à 0, le score F1 devient 0, même si l'autre métrique est parfaite. Une subtilité clé est que le score F1 dépend du seuil : il change avec le seuil de probabilité utilisé pour convertir les scores du modèle en étiquettes de classe, et les praticiens doivent ajuster ce seuil pour correspondre au coût métier des faux positifs par rapport aux faux négatifs. En revanche, l'AUC (ou PR-AUC) résume les performances sur tous les seuils, ce qui peut être utile pour la sélection de modèles, mais le score F1 fournit la métrique opérationnelle qui reflète les prédictions du monde réel à un seuil choisi. Une idée fausse courante est que le score F1 est universellement supérieur ; cependant, dans les jeux de données extrêmement déséquilibrés, les courbes de précision-rappel sont souvent plus informatives que les courbes ROC, car le taux de vrais négatifs de la ROC peut dominer en raison du grand nombre d'exemples négatifs.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.