Bonne réponse
- CStreaming Dataflow avec traitement exactement une fois
Explication
Le streaming Dataflow avec un traitement exactement une fois est le bon choix car il fournit une sémantique exactement une fois pour les sources Pub/Sub via la mise en point de contrôle (checkpointing) et les sinks idempotents, et il répond à l'exigence de faible latence (en secondes) grâce à son moteur de streaming qui minimise la surcharge par élément. L'intégration de Cloud Dataflow avec Pub/Sub garantit que chaque message est traité exactement une fois, même en cas de pannes, en utilisant des instantanés (snapshots) et une gestion cohérente de l'état.
Pour aller plus loin
Le traitement exactement une fois de Dataflow est obtenu grâce à une combinaison de déduplication côté source (utilisant les ID de message Pub/Sub et le checkpointing basé sur des instantanés) et d'idempotence côté sink (par exemple, les insertions en streaming de BigQuery avec insertId). Sous le capot, Dataflow utilise un algorithme d'instantané distribué (basé sur le modèle de Chandy-Lamport) pour capturer l'état de tous les opérateurs et la progression de chaque abonnement Pub/Sub, lui permettant de reprendre à partir du point exact de la défaillance sans traitement en double. Dans un scénario du monde réel, si un worker plante au milieu du flux, l'instantané de Dataflow garantit qu'aucun message n'est traité plus d'une fois, ce qui est critique pour les transactions financières ou les données de capteurs où les doublons pourraient causer des agrégats incorrects.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.