FacileChoix unique

Question d'entraînement MLA-C01

Une équipe de science des données déploie un modèle de régression sur Amazon SageMaker pour l'inférence en temps réel. Après un mois, les erreurs de prédiction du modèle augmentent considérablement, mais les distributions de données restent inchangées. Quelle approche de surveillance est la PLUS adaptée pour détecter ce problème?

Choisissez la meilleure réponse.

Bonne réponse

  • AConfigurez Amazon SageMaker Model Monitor pour suivre les métriques de performance du modèle par rapport aux étiquettes de vérité terrain au fur et à mesure de leur arrivée.

Explication

Amazon SageMaker Model Monitor peut être configuré pour suivre les métriques de performance du modèle (par exemple, les métriques d'erreur de régression telles que RMSE ou MAE) par rapport aux étiquettes de vérité terrain au fur et à mesure de leur arrivée. Comme la question indique que les distributions de données restent inchangées mais que les erreurs de prédiction augmentent, le problème est probablement la dégradation du modèle (par exemple, la dérive conceptuelle ou l'obsolescence du modèle) plutôt que la dérive des données. La surveillance directe des étiquettes de vérité terrain capture cette dégradation des performances, faisant de l'option A l'approche la plus adaptée.

Pourquoi chaque option est juste ou fausse

A

Juste

Configurez Amazon SageMaker Model Monitor pour suivre les métriques de performance du modèle par rapport aux étiquettes de vérité terrain au fur et à mesure de leur arrivée.

Puisque les distributions sont inchangées, le problème est la dégradation des performances plutôt que la dérive des données. Model Monitor comparant les prédictions aux étiquettes de vérité terrain détecte la baisse de précision, répondant au besoin de détecter les augmentations d'erreurs lorsque les distributions d'entrée restent stables.

B

Fausse

Utilisez Amazon SageMaker Clarify pour surveiller la dérive d'attribution des caractéristiques.

La dérive d'attribution des caractéristiques de Clarify compare les distributions de valeurs SHAP entre les données de référence et les données en direct, elle détecte donc les changements dans l'influence des caractéristiques, et non l'augmentation des erreurs avec des entrées stables. C'est tentant car la dérive d'attribution peut précéder la dégradation, mais ici les entrées sont inchangées, donc l'approche correcte mesure la qualité de la prédiction par rapport à la vérité terrain.

C

Fausse

Activez Amazon CloudWatch pour surveiller la latence de l'endpoint du modèle.

La latence de l'endpoint CloudWatch suit la durée des requêtes, les erreurs d'invocation et la limitation, dont aucun ne révèle l'erreur de prédiction par rapport aux résultats réels. C'est tentant car CloudWatch est le tableau de bord opérationnel par défaut pour les endpoints, mais la surveillance de la latence répond à des questions de performance, tandis que l'énoncé exige de mesurer la dégradation de la précision du modèle avec des distributions d'entrée inchangées.

D

Fausse

Configurez Amazon SageMaker Model Monitor pour suivre la dérive des données sur les caractéristiques d'entrée.

La surveillance de la dérive des données compare les distributions de caractéristiques d'entrée en direct à une référence, de sorte qu'avec des distributions inchangées, elle ne produit aucune alerte et manque l'augmentation des erreurs. C'est tentant car Model Monitor est le service de surveillance standard de SageMaker, mais ses capacités de qualité des données et de dérive traitent le décalage de covariables, et non la baisse de précision, ce qui nécessite une surveillance de la qualité du modèle avec des étiquettes de vérité terrain.

Pour aller plus loin

La surveillance des performances de SageMaker Model Monitor compare les prédictions du modèle aux étiquettes de vérité terrain capturées ultérieurement, en calculant des métriques telles que MAE, RMSE ou la précision selon le type de problème. Étant donné que la question indique que les distributions de caractéristiques sont inchangées, la surveillance de la dérive des données ne montrerait rien; la dégradation provient d'une modification de la relation entre les entrées et la cible, que seule la comparaison de vérité terrain expose. Sous le capot, vous activez la capture de données sur l'endpoint, fusionnez les prédictions capturées avec les étiquettes dans S3 et planifiez une tâche de surveillance qui émet des métriques CloudWatch et des violations dans un rapport. Un scénario réaliste: un modèle de tarification continue de recevoir les mêmes plages de caractéristiques, mais le changement de prix d'un concurrent rend les modèles historiques obsolètes, de sorte que seule la surveillance des performances basée sur les étiquettes signale l'augmentation des erreurs.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.