DifficileChoix unique

Question d'entraînement PDE

Une entreprise traite des données de capteurs IoT presque en temps réel. Elle ingère les données via Cloud Pub/Sub, puis un pipeline de streaming Dataflow écrit dans Bigtable pour des requêtes à faible latence. Récemment, elle a observé une augmentation du retard (backlog) des messages Pub/Sub lors des pics de trafic. Quelle est la stratégie de mise à l'échelle la plus efficace ?

Choisissez la meilleure réponse.

Bonne réponse

  • BAugmenter le nombre de workers Dataflow et ajuster la configuration de mise à l'échelle automatique

Explication

L'augmentation du retard (backlog) Pub/Sub lors des pics de trafic indique que le pipeline Dataflow est incapable de consommer les messages aussi vite qu'ils sont publiés. Augmenter le nombre de workers Dataflow et ajuster la configuration de mise à l'échelle automatique permet au pipeline de s'adapter horizontalement, en traitant plus de messages par seconde et en réduisant le retard (backlog). Pub/Sub est lui-même conçu pour gérer un débit élevé, le goulet d'étranglement est donc le consommateur (Dataflow) et non la couche d'ingestion.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter le débit de l'abonnement Pub/Sub en augmentant le nombre de partitions

Les abonnements Pub/Sub n'ont pas de partitions ; le partitionnement appartient à Kafka ou Pub/Sub Lite, ce mécanisme n'existe donc pas ici. C'est tentant car le parallélisme basé sur les partitions est la correction de débit standard, et ce serait correct pour mettre à l'échelle un groupe de consommateurs Kafka ou un abonnement Pub/Sub Lite.

B

Juste

Augmenter le nombre de workers Dataflow et ajuster la configuration de mise à l'échelle automatique

Augmenter le nombre de workers Dataflow avec une mise à l'échelle automatique ajustée draine directement le retard (backlog) Pub/Sub, puisque le retard (backlog) lui-même est le signal de mise à l'échelle automatique pour les pipelines de streaming. La mise à l'échelle horizontale des workers augmente le débit de traitement parallèle, s'adaptant aux pics de trafic, alors que les modifications du côté de Bigtable ou de Pub/Sub n'accéléreraient pas la consommation des messages en attente.

C

Fausse

Utiliser un Cloud Scheduler pour brider la publication dans Pub/Sub

Brider la publication réduit le volume d'entrée, de sorte que le retard (backlog) persiste ou s'aggrave pendant que les capteurs continuent de produire. C'est tentant comme mesure de protection contre la surcharge, et ce serait correct pour lisser un trafic en rafale où la capacité en aval est fixe et la perte de données est acceptable, mais pas pour résorber un retard (backlog).

D

Fausse

Ajouter une Cloud Function pour prétraiter les messages avant qu'ils ne soient consommés par Dataflow

Les Cloud Functions ne peuvent pas réduire le retard (backlog) Pub/Sub ; la mise à l'échelle automatique des workers Dataflow basée sur le débit du pipeline est le mécanisme qui draine les messages plus rapidement. Le prétraitement ajoute de la latence et un saut supplémentaire. Les Cloud Functions conviennent aux tâches légères pilotées par des événements, pas à la mise à l'échelle d'un consommateur en streaming.

Pour aller plus loin

Les abonnements Pub/Sub n'ont pas de partitions ; le service met à l'échelle le débit automatiquement par abonnement, de sorte que la croissance du retard (backlog) pointe vers le côté consommateur. Les pipelines de streaming Dataflow s'abonnent à l'abonnement, et le nombre de workers détermine combien de messages peuvent être traités et acquittés simultanément. La mise à l'échelle automatique horizontale (Streaming Engine ou classique) ajoute des workers en fonction du retard (backlog) et de l'utilisation du CPU, tandis que la définition de maxNumWorkers et d'indications appropriées basées sur le débit évite la limitation. Si le pipeline ne peut pas suivre, le retard (backlog) de l'abonnement et l'âge du message non acquitté le plus ancien augmentent. En pratique, un pipeline IoT de vente au-détail connaissant des pics de 10x lors des promotions doit augmenter maxNumWorkers et ajuster la mise à l'échelle automatique, plutôt que d'essayer de 'partitionner' Pub/Sub ou de brider les éditeurs, ce qui ne ferait que retarder l'ingestion et perdre la valeur du quasi-temps réel.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.