DifícilSelección múltiple

Pregunta de práctica de PMLE

¿Qué DOS acciones se recomiendan para detectar y mitigar la desviación de datos (data drift) en un sistema de ML de producción en Vertex AI?

Elige todas las respuestas correctas.

Respuestas correctas

  • CReentrenar automáticamente el modelo cuando la desviación supere los umbrales
  • DConfigurar Vertex AI Model Monitoring para que alerte sobre los cambios en la distribución de características

Explicación

La opción D es correcta porque Vertex AI Model Monitoring es el servicio diseñado específicamente para detectar la desviación de datos en producción; analiza continuamente las solicitudes de predicción entrantes frente a una línea base y alerta cuando los cambios en la distribución de características (por ejemplo, el sesgo de entrenamiento-servicio o la desviación) superan los umbrales configurados. La opción C es correcta porque el reentrenamiento automatizado activado cuando la desviación supera los umbrales es la acción de mitigación recomendada, cerrando el ciclo desde la detección hasta la corrección para que el modelo permanezca alineado con los datos actuales. Juntas, la D proporciona detección y la C proporciona mitigación, que es exactamente lo que pide la pregunta. La opción A no se recomienda porque combinar varios modelos aborda la varianza/precisión de las predicciones, no la detección o mitigación de la desviación de datos. La opción B no se recomienda porque la revisión manual diaria no escala y no puede cuantificar de manera fiable la desviación distribucional. La opción E no se recomienda porque supervisar los errores de predicción o la baja confianza detecta la degradación del rendimiento, pero no identifica específicamente la desviación en la distribución de características ni la mitiga.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Implementar varios modelos y utilizar un conjunto (ensemble) para promediar las predicciones

El uso de ensembles promedia las predicciones para aumentar la precisión; no mide ni corrige el cambio en la distribución de entradas, por lo que la desviación pasa desapercibida. Los ensembles son adecuados para reducir la varianza o mejorar la solidez en datos estables. La detección de la desviación requiere que Vertex AI Model Monitoring compare las distribuciones de características de servicio con la línea base de entrenamiento.

B

Incorrecta

Revisar manualmente las predicciones del modelo todos los días

La revisión manual diaria no escala y no puede cuantificar estadísticamente la desviación; Vertex AI Model Monitoring calcula automáticamente las métricas de sesgo de distribución y desviación frente a una línea base de entrenamiento, activando alertas. La inspección humana es adecuada para comprobaciones puntuales de bajo volumen o para validar una anomalía sospechosa, no para la detección continua de desviaciones en el tráfico de producción.

C

Correcta

Reentrenar automáticamente el modelo cuando la desviación supere los umbrales

El reentrenamiento automatizado satisface directamente el requisito de mitigación: cuando Vertex AI Model Monitoring señala una desviación más allá de los umbrales configurados, un pipeline activado se reentrena con datos recientes, restaurando la alineación entre el modelo y la distribución de producción desplazada. La sola detección es insuficiente; esto cierra el ciclo al actuar sobre la señal de desviación en lugar de limitarse a informarla.

D

Correcta

Configurar Vertex AI Model Monitoring para que alerte sobre los cambios en la distribución de características

Vertex AI Model Monitoring calcula continuamente las estadísticas de distribución de características y las compara con la línea base de entrenamiento, activando alertas cuando el sesgo o la desviación superan los umbrales configurados. Esto satisface directamente el requisito de detectar la desviación de datos en producción, permitiendo un reentrenamiento o mitigación oportunos antes de que la calidad de la predicción se degrade.

E

Incorrecta

Monitorear los errores de predicción y señalar cuando la confianza sea baja

Las banderas de baja confianza señalan predicciones individuales inciertas, no cambios en la distribución de características de entrada, por lo que la desviación gradual permanece oculta. El monitoreo de confianza es adecuado para detectar inferencias individuales fuera de la distribución o para enrutar a revisión humana. La detección de desviación necesita que Vertex AI Model Monitoring compare las distribuciones de servicio con la línea base de entrenamiento.

Para profundizar

Vertex AI Model Monitoring adjunta un trabajo de supervisión a un punto de enlace de modelo implementado y compara las solicitudes de predicción entrantes con una distribución de referencia capturada a partir del entrenamiento o de un conjunto de datos de referencia, calculando métricas como la divergencia de Jensen-Shannon para características categóricas y la distancia L-infinito para las numéricas. Cuando una característica supera su umbral configurado, el trabajo escribe una alerta en Cloud Logging, la cual puede activar una Cloud Function o un mensaje de Pub/Sub. Vincular esto con el reentrenamiento automatizado cierra el ciclo: un pipeline vuelve a ejecutar el entrenamiento con datos etiquetados recientes y vuelve a implementar una nueva versión del modelo. Una sutileza es que la supervisión requiere configurar una tasa de muestreo y la detección de sesgo entre entrenamiento y servicio, y las alertas de desviación por sí solas no solucionan la precisión. Esto importa en la detección de fraudes, donde los patrones de gasto cambian y la degradación silenciosa cuesta dinero.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.