MediaOpción múltiple

Pregunta de práctica de PMLE

Su equipo administra una canalización (pipeline) de ML de producción en Google Cloud que entrena un modelo de detección de fraude cada 6 horas utilizando nuevos datos de transacciones. Los pasos de la canalización son: (1) Cloud Function activada por nuevos archivos en Cloud Storage para validar datos, (2) trabajo de Dataflow para ingeniería de características, (3) Vertex AI CustomJob para entrenamiento, (4) Cloud Function para implementar el modelo en un endpoint de Vertex AI después de la evaluación. Nota que la canalización a veces falla durante el paso del trabajo de Dataflow con un error: 'Workflow failed. Causes: The job encountered a system error. Please try again later.' El error ocurre de manera esporádica y reintentar la canalización manualmente suele tener éxito. El equipo necesita una solución automatizada confiable. ¿Qué debe hacer?

Elige la mejor respuesta.

Respuesta correcta

  • DOrquestar la canalización utilizando Cloud Composer con políticas de reintento en el operador de Dataflow.

Explicación

Cloud Composer (Apache Airflow) proporciona políticas de reintento nativas en sus operadores de Dataflow, lo que permite reintentos automáticos del trabajo de Dataflow cuando falla debido a errores transitorios del sistema. Esto aborda el patrón de falla esporádica sin intervención manual, asegurando que la canalización se ejecute de manera confiable cada 6 horas.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Programar la canalización para que se ejecute con menos frecuencia para reducir la carga en el servicio Dataflow.

Reducir la frecuencia deja sin resolver el error transitorio del sistema de Dataflow; la canalización aún falla cada vez que se repite, solo que con menos frecuencia. La lógica de reintento, no la frecuencia de programación, aborda las fallas transitorias del servicio. Una menor frecuencia se adapta a la reducción de costos o trabajos verdaderamente limitados por carga, no a errores intermitentes de infraestructura que requieren recuperación automática.

B

Incorrecta

Usar Cloud Tasks para encolar el trabajo de Dataflow y reintentar en caso de falla.

Cloud Tasks pone en cola devoluciones de llamada HTTP, no lanzamientos de trabajos de Dataflow; no puede detectar un paso de Dataflow fallido ni reanudar las etapas restantes de la canalización. Cloud Tasks se adapta al envío de tareas asincrónicas a endpoints HTTP. Aquí la falla ocurre dentro del flujo de trabajo, lo que requiere una orquestación de reintento a nivel de paso.

C

Incorrecta

Aumentar el número de trabajadores (workers) de Dataflow y usar flexRS para manejar errores transitorios.

Agregar trabajadores y FlexRS aborda el costo y la capacidad para el procesamiento por lotes, no el error transitorio del sistema en sí; el trabajo aún puede fallar sin reintento automático. FlexRS se adapta a cargas de trabajo por lotes flexibles y no urgentes. El enunciado necesita un reintento automatizado del paso fallido, que el escalado de trabajadores no proporciona.

D

Correcta

Orquestar la canalización utilizando Cloud Composer con políticas de reintento en el operador de Dataflow.

El operador de Dataflow de Cloud Composer admite políticas de reintento configurables, por lo que los errores transitorios del sistema durante el paso de Dataflow se reintentan automáticamente sin intervención manual. Esto satisface directamente la restricción de confiabilidad: las fallas esporádicas que tienen éxito al reintentar se vuelven auto-reparables, mientras que la secuenciación de dependencias en los cuatro pasos de la canalización se conserva.

Para profundizar

Cloud Composer es un servicio administrado de Apache Airflow que orquesta canalizaciones con mecanismos de reintento integrados. Los operadores de Airflow, como DataflowStartFlexTemplateOperator, admiten reintentos (retries), retrasos de reintento (retry_delay) y retroceso exponencial (exponential backoff). Cuando un trabajo de Dataflow falla con un error transitorio del sistema, el operador puede reintentar automáticamente la tarea sin intervención manual. Esto es más confiable que los reintentos ad-hoc porque se administra todo el estado de la canalización y las fallas se registran y generan alertas. Un escenario realista: una canalización de detección de fraude se ejecuta cada 6 horas; un trabajo de Dataflow falla ocasionalmente debido a problemas transitorios, pero con la política de reintento de Cloud Composer establecida en 3 intentos con un retraso de 5 minutos, la canalización se recupera automáticamente, asegurando actualizaciones oportunas del modelo.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.