MoyenneChoix unique

Question d'entraînement MLA-C01

Un ingénieur en apprentissage automatique (machine learning) observe que les performances du modèle sur un endpoint SageMaker se sont dégradées au cours de la semaine dernière. Les étiquettes de vérité terrain (ground truth) sont disponibles avec un retard de 2 jours. L'ingénieur souhaite déclencher automatiquement un pipeline de réentraînement lorsque la qualité des prédictions descend en dessous d'un seuil acceptable. Quelle approche est la plus appropriée ?

Choisissez la meilleure réponse.

Bonne réponse

  • AUtiliser SageMaker Model Monitor - Model Quality Monitor avec la vérité terrain, créer une alarme CloudWatch sur la métrique et déclencher une fonction AWS Lambda pour lancer le réentraînement

Explication

Le Model Quality Monitor de SageMaker Model Monitor est spécifiquement conçu pour comparer les prédictions du modèle aux étiquettes de vérité terrain (disponibles avec un retard de 2 jours) et suivre des métriques telles que l'exactitude (accuracy), la précision, le rappel (recall) ou le score F1. Vous pouvez configurer une alarme CloudWatch sur une métrique telle que 'accuracy' tombant en dessous d'un seuil, ce qui déclenche une fonction AWS Lambda pour démarrer le pipeline de réentraînement. Cela automatise la détection de la dégradation de la qualité des prédictions et la réponse de réentraînement sans intervention humaine.

Pourquoi chaque option est juste ou fausse

A

Juste

Utiliser SageMaker Model Monitor - Model Quality Monitor avec la vérité terrain, créer une alarme CloudWatch sur la métrique et déclencher une fonction AWS Lambda pour lancer le réentraînement

Le Model Quality Monitor ingère la vérité terrain retardée depuis S3, calcule les métriques de qualité et les publie dans CloudWatch. Une alarme sur le seuil invoque Lambda, qui lance le pipeline de réentraînement, automatisant entièrement la détection et la correction sans intervention manuelle.

B

Fausse

Évaluer manuellement le modèle chaque semaine et le réentraîner si nécessaire

L'évaluation hebdomadaire manuelle ne peut pas réagir dans le délai de 2 jours des étiquettes, de sorte que la dégradation passe inaperçue jusqu'au prochain examen. C'est tentant car l'examen humain convient aux modèles à faible volume où le coût de l'automatisation dépasse les avantages, mais l'énoncé exige un réentraînement automatique déclenché par un seuil.

C

Fausse

Utiliser SageMaker Model Monitor - Data Quality Monitor pour détecter la dérive, puis déclencher le réentraînement

Le Data Quality Monitor compare les distributions de caractéristiques, et non la précision des prédictions par rapport aux étiquettes, de sorte qu'il ne peut pas détecter la baisse de qualité décrite. C'est le bon choix lorsque les données d'entrée dérivent des bases d'entraînement et que les étiquettes ne sont pas disponibles.

D

Fausse

Utiliser SageMaker Clarify pour surveiller la dérive des biais et déclencher le réentraînement

SageMaker Clarify détecte les biais et la dérive d'attribution des caractéristiques, et non la qualité des prédictions par rapport aux étiquettes de vérité terrain retardées. C'est tentant car la surveillance de la dérive ressemble à la surveillance des performances, mais Clarify serait correct pour l'audit d'équité ou d'explicabilité, et non pour la dégradation de la précision.

Pour aller plus loin

Le Model Quality Monitor de SageMaker Model Monitor compare les prédictions aux étiquettes de vérité terrain pour calculer des métriques telles que l'exactitude, la précision et le rappel. Les étiquettes de vérité terrain sont ingérées avec un retard, de sorte que le moniteur peut être programmé pour s'exécuter après l'arrivée des étiquettes. Lorsqu'une métrique dépasse un seuil, elle émet un événement vers CloudWatch, ce qui peut déclencher une alarme. L'alarme peut invoquer une fonction AWS Lambda qui démarre un pipeline de réentraînement, tel qu'une exécution de SageMaker Pipelines. Cela automatise le réentraînement basé sur la qualité réelle des prédictions, et non pas seulement sur la dérive des données (data drift). Le Data Quality Monitor détecte la dérive dans les données d'entrée, qui peut ne pas être corrélée avec la dégradation des performances. Clarify surveille le biais, et non la qualité globale. Par conséquent, le Model Quality Monitor avec la vérité terrain est le choix approprié pour déclencher le réentraînement lorsque la qualité baisse.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.