FácilOpción múltiple

Pregunta de práctica de PDE

Una empresa está ingiriendo datos de sensores en tiempo real de miles de dispositivos en Cloud Pub/Sub. Necesitan procesar estos datos con baja latencia (segundos) y semántica de exactamente una vez (exactly-once). ¿Qué servicio de procesamiento de datos deben utilizar?

Elige la mejor respuesta.

Respuesta correcta

  • CDataflow streaming con procesamiento de exactamente una vez

Explicación

Dataflow streaming con procesamiento de exactamente una vez es la opción correcta porque proporciona semántica de exactamente una vez para fuentes de Pub/Sub a través de puntos de control (checkpointing) y sumideros idempotentes, y cumple con el requisito de baja latencia (en segundos) a través de su motor de transmisión que minimiza la sobrecarga por elemento. La integración de Cloud Dataflow con Pub/Sub garantiza que cada mensaje se procese exactamente una vez, incluso en presencia de fallas, mediante el uso de instantáneas (snapshots) y una gestión de estado consistente.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Cloud Run con Pub/Sub push

Cloud Run con Pub/Sub push entrega al menos una vez (at-least-once); se producen entregas duplicadas, por lo que no se proporciona la semántica de exactamente una vez. Se adapta a manejadores de eventos o HTTP sin estado donde el reprocesamiento ocasional es tolerable, no al streaming con estado que requiere deduplicación y ventanas.

B

Incorrecta

Cloud Functions activado por Pub/Sub

Cloud Functions activado por Pub/Sub también ofrece entrega al menos una vez, por lo que las invocaciones duplicadas rompen el procesamiento de exactamente una vez. Se ajusta a manejadores de eventos ligeros y de corta duración, mientras que la agregación en streaming de exactamente una vez necesita un ejecutor que realice un seguimiento del estado y puntos de control de compensación, como Dataflow.

C

Correcta

Dataflow streaming con procesamiento de exactamente una vez

Dataflow streaming proporciona el procesamiento por registro de baja latencia que requiere la ingesta de Pub/Sub, y su modo de exactamente una vez se deduplica a través de IDs de mensajes de Pub/Sub y escrituras de estado transaccionales. Esto satisface tanto las restricciones de latencia de nivel de segundos como de semántica de exactamente una vez sin puntos de control personalizados.

D

Incorrecta

Dataproc con Spark Streaming

Spark Streaming en Dataproc proporciona procesamiento al menos una vez de forma predeterminada; exactamente una vez requiere sumideros idempotentes adicionales o escrituras transaccionales que usted mismo debe diseñar. Dataproc se adapta a cargas de trabajo de Hadoop o Spark de tipo lift-and-shift, no a un servicio administrado que ofrece semántica de exactamente una vez lista para usar.

Para profundizar

El procesamiento de exactamente una vez de Dataflow se logra mediante una combinación de deduplicación en el origen (utilizando IDs de mensajes de Pub/Sub y puntos de control basados en instantáneas) e idempotencia en el destino (por ejemplo, inserciones de streaming de BigQuery con insertId). Bajo el capó, Dataflow utiliza un algoritmo de instantáneas distribuidas (basado en el modelo de Chandy-Lamport) para capturar el estado de todos los operadores y el progreso de cada suscripción de Pub/Sub, permitiéndole reanudar desde el punto exacto de la falla sin procesamiento duplicado. En un escenario del mundo real, si un trabajador falla a mitad de flujo, la instantánea de Dataflow garantiza que ningún mensaje se procese más de una vez, lo cual es crítico para transacciones financieras o datos de sensores donde los duplicados podrían causar agregados incorrectos.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.