DifícilOpción múltiple

Pregunta de práctica de PDE

Una canalización de Dataflow lee desde Cloud Pub/Sub y escribe en Cloud Storage. La canalización necesita garantizar un procesamiento exactamente una vez a pesar de los fallos de los trabajadores. ¿Qué configuración garantiza la semántica de exactamente una vez?

Elige la mejor respuesta.

Respuesta correcta

  • DHabilitar la entrega exactamente una vez en la suscripción de Pub/Sub y usar un receptor idempotente

Explicación

Las suscripciones de Pub/Sub se pueden configurar con entrega exactamente una vez (usando el indicador `enableExactlyOnceDelivery`), lo que garantiza que cada mensaje se entregue al suscriptor exactamente una vez. Combinar esto con un receptor idempotente (por ejemplo, Cloud Storage con nombres de archivo únicos o lógica de deduplicación) garantiza que, incluso si un trabajador falla y la canalización se reintenta, la salida no contendrá duplicados. Esta es la única opción que aborda directamente tanto la fuente como el receptor para lograr una semántica de extremo a extremo de exactamente una vez.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Usar una entrada lateral de un conjunto de datos de deduplicación

Es factible pero no es una configuración estándar; además, añade latencia.

B

Incorrecta

Configurar la canalización para usar una ventana global sin activadores tempranos

No aborda los duplicados debido a la reejecución.

C

Incorrecta

Insertar una transformación Reshuffle después de la lectura

Reshuffle mejora el paralelismo pero no garantiza exactamente una vez.

D

Correcta

Habilitar la entrega exactamente una vez en la suscripción de Pub/Sub y usar un receptor idempotente

La entrega exactamente una vez de Pub/Sub y una escritura idempotente en Storage (por ejemplo, utilizando nombres de archivos) garantizan que no haya duplicados.

Para profundizar

La semántica de exactamente una vez de Apache Beam en Dataflow se basa en dos mecanismos cooperativos: la fuente no debe reentregar duplicados y el receptor debe deduplicar o ser idempotente. Pub/Sub admite la entrega exactamente una vez en una suscripción, que utiliza ID de reconocimiento y ordenamiento de mensajes para evitar la reentrega de mensajes ya confirmados, incluso bajo reintentos de trabajadores. En el lado del receptor, Dataflow utiliza la finalización de paquetes y, para transmisión, una deduplicación basada en mezcla cuando el receptor no es idempotente de forma nativa; escribir en Cloud Storage a través de receptores basados en archivos con nombres deterministas y un Reshuffle puede ayudar, pero la garantía depende en última instancia de la configuración de la suscripción de origen más un receptor idempotente o con deduplicación. Una sutileza: la entrega exactamente una vez en Pub/Sub tiene restricciones de rendimiento y regionales, y habilitarla por sí sola no hace que un receptor no idempotente sea seguro.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.