DifficileChoix unique

Question d'entraînement PDE

Un pipeline Dataflow lit depuis Cloud Pub/Sub et écrit dans Cloud Storage. Le pipeline doit garantir un traitement exactement une fois malgré les défaillances des workers. Quelle configuration garantit la sémantique exactement une fois ?

Choisissez la meilleure réponse.

Bonne réponse

  • DActiver la livraison exactement une fois sur l'abonnement Pub/Sub et utiliser un récepteur idempotent

Explication

Les abonnements Pub/Sub peuvent être configurés avec une livraison exactement une fois (en utilisant l'indicateur `enableExactlyOnceDelivery`), ce qui garantit que chaque message est livré au souscripteur exactement une fois. En combinant cela avec un récepteur idempotent (par exemple, Cloud Storage avec des noms de fichiers uniques ou une logique de déduplication), on garantit que même si un worker échoue et que le pipeline est réessayé, la sortie ne contiendra pas de doublons. C'est la seule option qui traite directement à la fois la source et le récepteur pour atteindre une sémantique de bout en bout de exactement une fois.

Pourquoi chaque option est juste ou fausse

A

Fausse

Utiliser une entrée secondaire provenant d'un jeu de données de déduplication

C'est réalisable mais ce n'est pas une configuration standard ; cela ajoute également de la latence.

B

Fausse

Configurer le pipeline pour utiliser une fenêtre globale sans déclencheurs précoces

Ne résout pas les doublons dus à la réexécution.

C

Fausse

Insérer une transformation Reshuffle après la lecture

Reshuffle améliore le parallélisme mais ne garantit pas exactement une fois.

D

Juste

Activer la livraison exactement une fois sur l'abonnement Pub/Sub et utiliser un récepteur idempotent

La livraison exactement une fois de Pub/Sub et une écriture idempotente dans Storage (par exemple, en utilisant le nommage de fichiers) garantissent l'absence de doublons.

Pour aller plus loin

La sémantique de exactement une fois d'Apache Beam sur Dataflow repose sur deux mécanismes complémentaires : la source ne doit pas redélivrer de doublons, et le récepteur doit dédupliquer ou être idempotent. Pub/Sub prend en charge la livraison exactement une fois sur un abonnement, qui utilise des ID d'accusé de réception et l'ordre des messages pour empêcher la redélivrance de messages déjà acquittés, même en cas de nouvelle tentative des workers. Du côté du récepteur, Dataflow utilise la finalisation de lots et, pour le streaming, une déduplication basée sur le mélange lorsque le récepteur n'est pas idempotent par nature ; l'écriture dans Cloud Storage via des récepteurs basés sur des fichiers avec un nommage déterministe et un Reshuffle peut aider, mais la garantie dépend finalement du paramètre d'abonnement source ainsi que d'un récepteur idempotent ou dédupliquant. Une subtilité : la livraison exactement une fois sur Pub/Sub présente des contraintes de débit et régionales, et son activation ne rend pas à elle seule un récepteur non idempotent sûr.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.