FacileChoix unique

Question d'entraînement PDE

Une entreprise ingère des données de capteurs en temps réel provenant de milliers d'appareils dans Cloud Pub/Sub. Elle doit traiter ces données avec une faible latence (en secondes) et une sémantique exactement une fois (exactly-once). Quel service de traitement de données doit-elle utiliser ?

Choisissez la meilleure réponse.

Bonne réponse

  • CStreaming Dataflow avec traitement exactement une fois

Explication

Le streaming Dataflow avec un traitement exactement une fois est le bon choix car il fournit une sémantique exactement une fois pour les sources Pub/Sub via la mise en point de contrôle (checkpointing) et les sinks idempotents, et il répond à l'exigence de faible latence (en secondes) grâce à son moteur de streaming qui minimise la surcharge par élément. L'intégration de Cloud Dataflow avec Pub/Sub garantit que chaque message est traité exactement une fois, même en cas de pannes, en utilisant des instantanés (snapshots) et une gestion cohérente de l'état.

Pourquoi chaque option est juste ou fausse

A

Fausse

Cloud Run avec Pub/Sub push

Cloud Run avec Pub/Sub push livre au moins une fois (at-least-once) ; des livraisons en double se produisent, de sorte que la sémantique exactement une fois n'est pas fournie. Il convient aux gestionnaires d'événements ou HTTP sans état où un re-traitement occasionnel est tolérable, et non au streaming avec état nécessitant une déduplication et un fenêtrage.

B

Fausse

Cloud Functions déclenché par Pub/Sub

Cloud Functions déclenché par Pub/Sub livre également au moins une fois, de sorte que les invocations en double brisent le traitement exactement une fois. Il convient aux gestionnaires d'événements légers et de courte durée, alors que l'agrégation en streaming exactement une fois nécessite un runner qui suit l'état et enregistre des points de contrôle d'offsets, tel que Dataflow.

C

Juste

Streaming Dataflow avec traitement exactement une fois

Le streaming Dataflow fournit le traitement à faible latence par enregistrement requis par l'ingestion Pub/Sub, et son mode exactement une fois déduplique via les ID de message Pub/Sub et les écritures d'état transactionnelles. Cela satisfait à la fois les contraintes de latence de l'ordre de la seconde et de sémantique exactement une fois sans checkpointing personnalisé.

D

Fausse

Dataproc avec Spark Streaming

Spark Streaming sur Dataproc fournit un traitement au moins une fois par défaut ; le sémantique exactement une fois nécessite des sinks idempotents supplémentaires ou des écritures transactionnelles que vous devez concevoir vous-même. Dataproc convient aux charges de travail Hadoop ou Spark lift-and-shift, et non à un service managé offrant une sémantique exactement une fois prête à l'emploi.

Pour aller plus loin

Le traitement exactement une fois de Dataflow est obtenu grâce à une combinaison de déduplication côté source (utilisant les ID de message Pub/Sub et le checkpointing basé sur des instantanés) et d'idempotence côté sink (par exemple, les insertions en streaming de BigQuery avec insertId). Sous le capot, Dataflow utilise un algorithme d'instantané distribué (basé sur le modèle de Chandy-Lamport) pour capturer l'état de tous les opérateurs et la progression de chaque abonnement Pub/Sub, lui permettant de reprendre à partir du point exact de la défaillance sans traitement en double. Dans un scénario du monde réel, si un worker plante au milieu du flux, l'instantané de Dataflow garantit qu'aucun message n'est traité plus d'une fois, ce qui est critique pour les transactions financières ou les données de capteurs où les doublons pourraient causer des agrégats incorrects.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.