MoyenneChoix unique

Question d'entraînement AI-900

Un data scientist entraîne un modèle de régression pour prédire la consommation quotidienne d'électricité (en kWh) d'un bâtiment commercial. L'équipe métier a besoin d'une métrique qui pénalise fortement les grandes erreurs de prédiction (valeurs aberrantes ou outliers) plus que les petites erreurs. Quelle métrique le data scientist doit-il rapporter pour répondre au mieux à cette exigence ?

Choisissez la meilleure réponse.

Bonne réponse

  • BRoot Mean Squared Error (RMSE)

Explication

La racine de l'erreur quadratique moyenne (RMSE) est la métrique correcte car elle met au carré les résidus avant de faire la moyenne, ce qui amplifie de manière disproportionnée l'impact des grandes erreurs (valeurs aberrantes) par rapport aux petites erreurs. Cela correspond directement à l'exigence métier de pénaliser fortement les grandes erreurs de prédiction dans le modèle de régression pour la consommation quotidienne d'électricité.

Pourquoi chaque option est juste ou fausse

A

Fausse

Mean Absolute Error (MAE)

L'erreur absolue moyenne (MAE) fait la moyenne des différences absolues entre les valeurs prédites et réelles en utilisant la perte L1, de sorte que chaque résidu contribue de manière linéaire et égale à l'erreur totale. Une valeur aberrante avec un résidu de 50 ajoute seulement 50 au MAE, tandis qu'une erreur typique de 5 en ajoute 5, ce qui signifie que la valeur aberrante n'est pas pondérée au-delà de sa magnitude brute. Comme il ne met pas les grands résidus au carré, le MAE ne pénaliserait pas les valeurs aberrantes plus lourdement, ce qui en fait le mauvais choix pour cet objectif.

B

Juste

Root Mean Squared Error (RMSE)

La racine de l'erreur quadratique moyenne (RMSE) calcule la racine carrée de la moyenne des résidus au carré, mettant directement en œuvre la perte L2. Élever au carré chaque erreur transforme un résidu de 10 unités en une contribution de 100 contre 1 pour un résidu de 1 unité, de sorte qu'une seule grande erreur peut dominer la métrique et inciter le modèle à la réduire. Cette amplification quadratique est exactement la pénalité plus lourde exigée sur les valeurs aberrantes, faisant du RMSE la métrique correcte lorsque les grandes erreurs sont particulièrement indésirables.

C

Fausse

R-squared

Le R-carré (coefficient de détermination) rapporte la proportion de la variance de la variable cible expliquée par le modèle par rapport à une base de référence de moyenne simple, typiquement sous forme de valeur de 0 à 1 (ou négative pour les mauvais ajustements). Bien que son terme de somme des carrés des résidus mette les erreurs au carré, la métrique est normalisée par la variance totale, de sorte qu'elle mesure un ajustement proportionnel plutôt qu'une magnitude d'erreur exploitable ou une perte d'entraînement pénalisant les valeurs aberrantes. Ainsi, elle peut décrire la qualité du modèle mais ne sert pas de métrique pénalisant de manière disproportionnée les grandes erreurs de prédiction de la même manière que le RMSE.

D

Fausse

Mean Absolute Percentage Error (MAPE)

L'erreur en pourcentage absolu moyen (MAPE) exprime chaque erreur absolue en pourcentage de la valeur réelle correspondante, puis fait la moyenne de ces pourcentages. Étant donné que le dénominateur change selon l'observation, une grande erreur absolue sur une cible de grande valeur peut sembler petite en pourcentage, tandis qu'une erreur absolue mineure sur une minuscule cible peut paraître énorme, de sorte qu'elle ne donne pas systématiquement plus de poids aux erreurs plus importantes. Ce comportement relatif et dépendant de l'échelle signifie que le MAPE n'est pas approprié lorsque l'exigence est de pénaliser plus lourdement les grandes valeurs aberrantes absolues.

Pour aller plus loin

Les métriques d'évaluation de régression diffèrent principalement dans la manière dont elles pondèrent les magnitudes des résidus. Le MAE (L1) est robuste aux valeurs aberrantes car toutes les erreurs sont pondérées de manière égale, tandis que le RMSE/MSE (L2) amplifie les grandes erreurs de manière quadratique, ce qui en fait un choix par défaut courant lorsque les écarts significatifs sont excessivement coûteux. Un point subtil et souvent négligé est que l'optimisation pour le RMSE suppose que les erreurs cibles sont approximativement normales avec une variance constante ; si les données réelles contiennent des queues épaisses ou des valeurs aberrantes bruyantes, le modèle peut se distordre pour s'y adapter. En pratique, le choix de la métrique doit suivre la structure des coûts de l'entreprise : par exemple, une erreur de prédiction d'une heure sur le délai de livraison peut être légèrement ennuyeuse, mais une erreur de dix heures n'est pas seulement dix fois pire, elle peut être inacceptable sur le plan opérationnel, donc le RMSE capture cette urgence. Inversement, si quelques lectures anormales sont attendues et ne doivent pas dicter le comportement du modèle, le MAE ou une perte winsorisée est préférable. Le R-carré est souvent mal interprété comme une métrique d'erreur, mais il s'agit d'une comparaison normalisée à une moyenne de référence et il peut être manipulé par la dispersion des données ; le MAPE échoue lorsque les valeurs réelles s'approchent de zéro et donne un poids asymétrique aux sous-prévisions car le dénominateur est la valeur réelle. Pour l'examen AI-900, retenez que le RMSE est la métrique explicitement liée au fait de « pénaliser plus fortement les plus grandes erreurs ».

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.