MediaOpción múltiple

Pregunta de práctica de MLA-C01

Un ingeniero de machine learning observa que el rendimiento del modelo en un endpoint de SageMaker se ha degradado durante la última semana. Las etiquetas de verdad de terreno (ground truth) están disponibles con un retraso de 2 días. El ingeniero desea activar automáticamente un pipeline de reentrenamiento cuando la calidad de la predicción caiga por debajo de un umbral aceptable. ¿Qué enfoque es el más adecuado?

Elige la mejor respuesta.

Respuesta correcta

  • AUtilizar SageMaker Model Monitor - Model Quality Monitor con verdad de terreno, crear una alarma de CloudWatch en la métrica y activar una función de AWS Lambda para iniciar el reentrenamiento

Explicación

Model Quality Monitor de SageMaker Model Monitor está diseñado específicamente para comparar las predicciones del modelo con las etiquetas de verdad de terreno (disponibles con un retraso de 2 días) y realizar un seguimiento de métricas como precisión, precisión (precision), recuperación (recall) o puntuación F1. Puedes configurar una alarma de CloudWatch en una métrica como 'accuracy' (precisión) que caiga por debajo de un umbral, lo que activa una función de AWS Lambda para iniciar el pipeline de reentrenamiento. Esto automatiza la detección de la degradación de la calidad de la predicción y la respuesta de reentrenamiento sin intervención manual.

Por qué cada opción es correcta o incorrecta

A

Correcta

Utilizar SageMaker Model Monitor - Model Quality Monitor con verdad de terreno, crear una alarma de CloudWatch en la métrica y activar una función de AWS Lambda para iniciar el reentrenamiento

Model Quality Monitor ingiere la verdad de terreno retrasada desde S3, calcula métricas de calidad y las publica en CloudWatch. Una alarma en el umbral invoca a Lambda, que inicia el pipeline de reentrenamiento, automatizando por completo la detección y la remediación sin intervención manual.

B

Incorrecta

Evaluar manualmente el modelo semanalmente y reentrenarlo según sea necesario

La evaluación semanal manual no puede reaccionar dentro del retraso de 2 días de las etiquetas, por lo que la degradación pasa desapercibida hasta la próxima revisión. Es tentador porque la revisión humana se adapta a modelos de bajo volumen donde el costo de la automatización supera el beneficio, pero el enunciado exige un reentrenamiento automático activado por umbral.

C

Incorrecta

Utilizar SageMaker Model Monitor - Data Quality Monitor para detectar la deriva y luego activar el reentrenamiento

Data Quality Monitor compara las distribuciones de características, no la precisión de la predicción frente a las etiquetas, por lo que no puede detectar la caída de calidad descrita. Es la opción correcta cuando los datos de entrada se desvían de las líneas base de entrenamiento y las etiquetas no están disponibles.

D

Incorrecta

Utilizar SageMaker Clarify para monitorear la deriva de sesgo y activar el reentrenamiento

SageMaker Clarify detecta sesgos y la deriva de atribución de características, no la calidad de la predicción frente a las etiquetas de verdad de terreno retrasadas. Es tentador porque el monitoreo de la deriva suena como monitoreo del rendimiento, pero Clarify sería correcto para auditorías de equidad o explicabilidad, no para la degradación de la precisión.

Para profundizar

Model Quality Monitor de SageMaker Model Monitor compara las predicciones con las etiquetas de verdad de terreno para calcular métricas como precisión, exactitud y recuperación. Las etiquetas de verdad de terreno se ingieren con un retraso, por lo que el monitor se puede programar para ejecutarse después de que lleguen las etiquetas. Cuando una métrica supera un umbral, emite un evento a CloudWatch, lo que puede activar una alarma. La alarma puede invocar una función de AWS Lambda que inicia un pipeline de reentrenamiento, como una ejecución de SageMaker Pipelines. Esto automatiza el reentrenamiento basado en la calidad de predicción real, no solo en la deriva de datos (data drift). Data Quality Monitor detecta la deriva en los datos de entrada, que puede no correlacionarse con la degradación del rendimiento. Clarify monitorea el sesgo, no la calidad general. Por lo tanto, Model Quality Monitor con verdad de terreno es la opción adecuada para activar el reentrenamiento cuando la calidad disminuye.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de MLA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.