Bonne réponse
- AUtiliser SageMaker Model Monitor - Model Quality Monitor avec la vérité terrain, créer une alarme CloudWatch sur la métrique et déclencher une fonction AWS Lambda pour lancer le réentraînement
Explication
Le Model Quality Monitor de SageMaker Model Monitor est spécifiquement conçu pour comparer les prédictions du modèle aux étiquettes de vérité terrain (disponibles avec un retard de 2 jours) et suivre des métriques telles que l'exactitude (accuracy), la précision, le rappel (recall) ou le score F1. Vous pouvez configurer une alarme CloudWatch sur une métrique telle que 'accuracy' tombant en dessous d'un seuil, ce qui déclenche une fonction AWS Lambda pour démarrer le pipeline de réentraînement. Cela automatise la détection de la dégradation de la qualité des prédictions et la réponse de réentraînement sans intervention humaine.
Pour aller plus loin
Le Model Quality Monitor de SageMaker Model Monitor compare les prédictions aux étiquettes de vérité terrain pour calculer des métriques telles que l'exactitude, la précision et le rappel. Les étiquettes de vérité terrain sont ingérées avec un retard, de sorte que le moniteur peut être programmé pour s'exécuter après l'arrivée des étiquettes. Lorsqu'une métrique dépasse un seuil, elle émet un événement vers CloudWatch, ce qui peut déclencher une alarme. L'alarme peut invoquer une fonction AWS Lambda qui démarre un pipeline de réentraînement, tel qu'une exécution de SageMaker Pipelines. Cela automatise le réentraînement basé sur la qualité réelle des prédictions, et non pas seulement sur la dérive des données (data drift). Le Data Quality Monitor détecte la dérive dans les données d'entrée, qui peut ne pas être corrélée avec la dégradation des performances. Clarify surveille le biais, et non la qualité globale. Par conséquent, le Model Quality Monitor avec la vérité terrain est le choix approprié pour déclencher le réentraînement lorsque la qualité baisse.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.