FácilOpción múltiple

Pregunta de práctica de MLA-C01

Un equipo de ciencia de datos implementa un modelo de regresión en Amazon SageMaker para inferencia en tiempo real. Después de un mes, los errores de predicción del modelo aumentan significativamente, pero las distribuciones de datos permanecen sin cambios. ¿Qué enfoque de monitoreo es MÁS adecuado para detectar este problema?

Elige la mejor respuesta.

Respuesta correcta

  • AConfigure Amazon SageMaker Model Monitor para rastrear las métricas de rendimiento del modelo frente a las etiquetas de verdad de terreno a medida que llegan.

Explicación

Amazon SageMaker Model Monitor se puede configurar para rastrear métricas de rendimiento del modelo (por ejemplo, métricas de error de regresión como RMSE o MAE) en comparación con las etiquetas de verdad de terreno a medida que llegan. Dado que la pregunta establece que las distribuciones de datos permanecen sin cambios pero los errores de predicción aumentan, el problema es probablemente la degradación del modelo (por ejemplo, deriva de concepto o obsolescencia del modelo) en lugar de la deriva de datos. Monitorear las etiquetas de verdad de terreno directamente captura esta degradación del rendimiento, haciendo que la opción A sea el enfoque más adecuado.

Por qué cada opción es correcta o incorrecta

A

Correcta

Configure Amazon SageMaker Model Monitor para rastrear las métricas de rendimiento del modelo frente a las etiquetas de verdad de terreno a medida que llegan.

Debido a que las distribuciones no han cambiado, el problema es la degradación del rendimiento en lugar de la deriva de datos. Model Monitor al comparar las predicciones con las etiquetas de verdad de terreno detecta la disminución de la precisión, satisfaciendo la necesidad de capturar aumentos de errores cuando las distribuciones de entrada permanecen estables.

B

Incorrecta

Utilice Amazon SageMaker Clarify para monitorear la deriva de atribución de características.

La deriva de atribución de características de Clarify compara las distribuciones de valores SHAP entre los datos de referencia y los datos en vivo, por lo que detecta cambios en la influencia de las características, no el aumento de errores con entradas estables. Es tentador porque la deriva de atribución puede preceder a la degradación, pero aquí las entradas no han cambiado, por lo que el enfoque correcto mide la calidad de la predicción frente a la verdad de terreno.

C

Incorrecta

Habilite Amazon CloudWatch para monitorear la latencia del endpoint del modelo.

La latencia del endpoint de CloudWatch rastrea la duración de las solicitudes, los errores de invocación y la limitación, ninguno de los cuales revela el error de predicción frente a los resultados reales. Es tentador porque CloudWatch es el panel operativo predeterminado para endpoints, pero el monitoreo de latencia responde a preguntas de rendimiento, mientras que el enunciado requiere medir la degradación de la precisión del modelo con distribuciones de entrada sin cambios.

D

Incorrecta

Configure Amazon SageMaker Model Monitor para rastrear la deriva de datos en las características de entrada.

El monitoreo de la deriva de datos compara las distribuciones de características de entrada en vivo con una referencia, por lo que con las distribuciones sin cambios no produce ninguna alerta y pasa por alto el aumento de errores. Es tentador porque Model Monitor es el servicio de monitoreo estándar de SageMaker, pero sus capacidades de calidad de datos y deriva abordan el cambio de covariables, no la disminución de precisión, lo que requiere un monitoreo de la calidad del modelo con etiquetas de verdad de terreno.

Para profundizar

El monitoreo de rendimiento de SageMaker Model Monitor compara las predicciones del modelo con las etiquetas de verdad de terreno capturadas más tarde, calculando métricas como MAE, RMSE o precisión dependiendo del tipo de problema. Debido a que la pregunta establece que las distribuciones de características no han cambiado, el monitoreo de la deriva de datos no mostraría nada; la degradación proviene de una relación cambiada entre las entradas y el objetivo, que solo la comparación con la verdad de terreno expone. Bajo el capó, usted habilita la captura de datos en el endpoint, fusiona las predicciones capturadas con las etiquetas en S3 y programa un trabajo de monitoreo que emite métricas de CloudWatch y violaciones a un informe. Un escenario realista: un modelo de precios sigue recibiendo los mismos rangos de características, pero un cambio de precios de la competencia hace que los patrones históricos queden obsoletos, por lo que solo el monitoreo de rendimiento basado en etiquetas señala el error creciente.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de MLA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.