Bonne réponse
- DActiver la livraison exactement une fois sur l'abonnement Pub/Sub et utiliser un récepteur idempotent
Explication
Les abonnements Pub/Sub peuvent être configurés avec une livraison exactement une fois (en utilisant l'indicateur `enableExactlyOnceDelivery`), ce qui garantit que chaque message est livré au souscripteur exactement une fois. En combinant cela avec un récepteur idempotent (par exemple, Cloud Storage avec des noms de fichiers uniques ou une logique de déduplication), on garantit que même si un worker échoue et que le pipeline est réessayé, la sortie ne contiendra pas de doublons. C'est la seule option qui traite directement à la fois la source et le récepteur pour atteindre une sémantique de bout en bout de exactement une fois.
Pour aller plus loin
La sémantique de exactement une fois d'Apache Beam sur Dataflow repose sur deux mécanismes complémentaires : la source ne doit pas redélivrer de doublons, et le récepteur doit dédupliquer ou être idempotent. Pub/Sub prend en charge la livraison exactement une fois sur un abonnement, qui utilise des ID d'accusé de réception et l'ordre des messages pour empêcher la redélivrance de messages déjà acquittés, même en cas de nouvelle tentative des workers. Du côté du récepteur, Dataflow utilise la finalisation de lots et, pour le streaming, une déduplication basée sur le mélange lorsque le récepteur n'est pas idempotent par nature ; l'écriture dans Cloud Storage via des récepteurs basés sur des fichiers avec un nommage déterministe et un Reshuffle peut aider, mais la garantie dépend finalement du paramètre d'abonnement source ainsi que d'un récepteur idempotent ou dédupliquant. Une subtilité : la livraison exactement une fois sur Pub/Sub présente des contraintes de débit et régionales, et son activation ne rend pas à elle seule un récepteur non idempotent sûr.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.