DifícilOpción múltiple

Pregunta de práctica de PDE

Un pipeline de datos ingiere eventos en tiempo real desde Cloud Pub/Sub hacia BigQuery utilizando Dataflow. El pipeline utiliza una ventana deslizante de 5 minutos con un período de 1 minuto para agregar recuentos de eventos. Recientemente, el pipeline comenzó a fallar con el mensaje 'The worker failed to provide a heartbeat.' Los registros de Dataflow muestran un alto uso de CPU en los workers. ¿Cuál es el mejor curso de acción para resolver el problema?

Elige la mejor respuesta.

Respuesta correcta

  • AAumentar el número de workers y habilitar el autoescalado para distribuir la carga.

Explicación

El error 'The worker failed to provide a heartbeat' combinado con el alto uso de CPU indica que los workers están sobrecargados y no pueden procesar los datos lo suficientemente rápido como para mantener su latido (heartbeat) hacia el servicio Dataflow. Aumentar el número de workers y habilitar el autoescalado distribuye la carga computacional entre más máquinas, reduciendo la presión de CPU por worker y permitiendo que los latidos se envíen a tiempo. Esto aborda directamente la causa raíz del agotamiento de recursos.

Por qué cada opción es correcta o incorrecta

A

Correcta

Aumentar el número de workers y habilitar el autoescalado para distribuir la carga.

Escalar horizontalmente los workers con autoescalado alivia directamente la saturación de la CPU que causa la pérdida de latidos, ya que la carga de cada worker se reduce a medida que se redistribuye la agregación por clave de la ventana deslizante. Esto satisface la restricción de alto uso de CPU del enunciado sin alterar la semántica del ventaneo, a diferencia de ajustar la ventana de 5 minutos o el período de 1 minuto.

B

Incorrecta

Reducir el número de workers para minimizar la sobrecarga de coordinación.

Reducir los workers disminuye el rendimiento agregado, empeorando la saturación de CPU que causa la pérdida de latidos; escalar horizontalmente agrega capacidad. Es tentador porque menos workers reducen el tráfico de mezcla y coordinación, lo cual ayuda solo cuando el cuello de botella es la comunicación entre workers en lugar de la carga de CPU por worker.

C

Incorrecta

Usar una ventana global con un disparador para reducir el tamaño del estado.

Una ventana global elimina el ventaneo por clave pero acumula un estado ilimitado, empeorando la presión de CPU detrás de las fallas de latidos. Es tentador porque reduce la contabilidad de ventanas, pero una ventana global con disparadores es correcta cuando se agregan datos en todas las claves sin límites de tiempo significativos.

D

Incorrecta

Cambiar el ventaneo a una ventana fija de 5 minutos para reducir los cálculos.

Las ventanas fijas aún agregan por clave y no solucionan la saturación de CPU que causa la pérdida de latidos; simplemente alteran el momento de emisión. Es tentador porque las ventanas deslizantes calculan paneles superpuestos, pero las ventanas fijas son correctas cuando la lógica de negocio requiere estrictamente agregados alineados y no superpuestos.

Para profundizar

Los workers de Dataflow emiten latidos al servicio Dataflow; si la CPU de un worker está saturada, el hilo del latido puede quedar hambriento de recursos y el servicio declara al worker como muerto, produciendo 'The worker failed to provide a heartbeat.' Una ventana deslizante de 5 minutos con un período de 1 minuto crea cinco paneles superpuestos por clave, por lo que cada elemento se almacena en búfer y se reemite en múltiples ventanas, multiplicando el estado y el trabajo de agregación por clave. Agregar workers con autoescalado distribuye las claves pesadas y los cómputos por ventana entre más instancias de Compute Engine, restaurando la capacidad de respuesta de los latidos. En la práctica, un pipeline de flujos de clics minoristas que experimenta un pico de tráfico puede sufrir exactamente esta falla; aumentar maxNumWorkers y habilitar el autoescalado lo resuelve sin cambiar la semántica del ventaneo.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.