DifícilOpción múltiple

Pregunta de práctica de PDE

Una empresa procesa datos de sensores de IoT en tiempo casi real. Ingieren datos a traves de Cloud Pub/Sub, y luego una tuberia de streaming de Dataflow escribe en Bigtable para consultas de baja latencia. Recientemente, observaron un aumento en la acumulacion de mensajes de Pub/Sub durante los picos de trafico. ¿Cual es la estrategia de escalado mas efectiva?

Elige la mejor respuesta.

Respuesta correcta

  • BAumentar el recuento de trabajadores de Dataflow y ajustar la configuracion de autoescalado

Explicación

El aumento de la acumulacion de mensajes en Pub/Sub durante los picos de trafico indica que la tuberia de Dataflow no puede consumir los mensajes tan rapido como se publican. Aumentar el numero de trabajadores de Dataflow y ajustar la configuracion de autoescalado permite que la tuberia escale horizontalmente, procesando mas mensajes por segundo y reduciendo la acumulacion. Pub/Sub esta disenado para manejar un alto rendimiento, por lo que el cuello de botella es el consumidor (Dataflow), no la capa de ingesta.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el rendimiento de la suscripcion de Pub/Sub aumentando el numero de particiones

Las suscripciones de Pub/Sub no tienen particiones; el particionamiento pertenece a Kafka o Pub/Sub Lite, por lo que este mecanismo no existe aqui. Es tentador porque el paralelismo basado en particiones es la solucion estandar de rendimiento, y seria correcto para escalar un grupo de consumidores de Kafka o una suscripcion de Pub/Sub Lite.

B

Correcta

Aumentar el recuento de trabajadores de Dataflow y ajustar la configuracion de autoescalado

Aumentar el recuento de trabajadores de Dataflow con un autoescalado optimizado drena directamente la acumulacion de Pub/Sub, ya que la acumulacion en si misma es la senal de autoescalado para las tuberias de streaming. El escalado horizontal de trabajadores aumenta el rendimiento de procesamiento paralelo, adaptandose a los picos de trafico, mientras que los cambios en Bigtable o en el lado de Pub/Sub no acelerarian el consumo de los mensajes en cola.

C

Incorrecta

Usar Cloud Scheduler para limitar la publicacion en Pub/Sub

Limitar la publicacion reduce el volumen de entrada, por lo que la acumulacion persiste o empeora mientras los sensores siguen produciendo. Es tentador como medida de proteccion contra la sobrecarga, y seria correcto para suavizar el trafico con ráfagas donde la capacidad descendente es fija y la perdida de datos es aceptable, pero no para eliminar la acumulacion.

D

Incorrecta

Agregar una Cloud Function para preprocesar mensajes antes de que sean consumidos por Dataflow

Cloud Functions no puede reducir la acumulacion de Pub/Sub; el autoescalado de trabajadores de Dataflow basado en el rendimiento de la tuberia es el mecanismo que drena los mensajes mas rapidamente. El preprocesamiento agrega latencia y otro salto. Cloud Functions se adapta a tareas ligeras basadas en eventos, no a escalar un consumidor de streaming.

Para profundizar

Las suscripciones de Pub/Sub no tienen particiones; el servicio escala el rendimiento automaticamente por suscripcion, por lo que el crecimiento de la acumulacion apunta al lado del consumidor. Las tuberias de streaming de Dataflow extraen datos de la suscripcion, y el numero de trabajadores determina cuantos mensajes se pueden procesar y confirmar simultaneamente. El autoescalado horizontal (Streaming Engine o clasico) agrega trabajadores segun la acumulacion y la utilizacion de la CPU, mientras que configurar maxNumWorkers y las sugerencias de rendimiento adecuadas evita la limitacion. Si la tuberia no puede seguir el ritmo, la acumulacion en la suscripcion y la antiguedad del mensaje no confirmado mas antiguo aumentan. En la practica, una tuberia de IoT minorista que experimente picos de 10x durante las promociones debe aumentar maxNumWorkers y ajustar el autoescalado, en lugar de intentar 'particionar' Pub/Sub o limitar a los editores, lo que solo retrasaria la ingesta y haria perder el valor en tiempo casi real.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.