DifficileChoix unique

Question d'entraînement PDE

Un pipeline de données ingère des événements en temps réel de Cloud Pub/Sub vers BigQuery à l'aide de Dataflow. Le pipeline utilise une fenêtre glissante de 5 minutes avec une période de 1 minute pour agréger les comptes d'événements. Récemment, le pipeline a commencé à échouer avec l'erreur 'The worker failed to provide a heartbeat.' Les journaux Dataflow montrent une utilisation élevée du CPU sur les workers. Quelle est la meilleure mesure à prendre pour résoudre le problème ?

Choisissez la meilleure réponse.

Bonne réponse

  • AAugmenter le nombre de workers et activer le dimensionnement automatique (autoscaling) pour répartir la charge.

Explication

L'erreur indiquant qu'un worker n'a pas pu fournir de signal de vie, combinée à une utilisation élevée du CPU, indique que les workers sont surchargés et ne peuvent pas traiter les données assez rapidement pour maintenir leur signal de vie auprès du service Dataflow. Augmenter le nombre de workers et activer le dimensionnement automatique (autoscaling) répartit la charge de calcul sur un plus grand nombre de machines, réduisant la pression CPU par worker et permettant l'envoi des signaux de vie à temps. Cela s'attaque directement à la cause racine de l'épuisement des ressources.

Pourquoi chaque option est juste ou fausse

A

Juste

Augmenter le nombre de workers et activer le dimensionnement automatique (autoscaling) pour répartir la charge.

Le déploiement de workers supplémentaires avec le dimensionnement automatique (autoscaling) soulage directement la saturation du CPU provoquant les signaux de vie manqués, car la charge de chaque worker diminue à mesure que l'agrégation par clé de la fenêtre glissante est redistribuée. Cela satisfait la contrainte de CPU élevé de l'énoncé sans altérer la sémantique du fenêtrage, contrairement à l'ajustement de la fenêtre de 5 minutes ou de la période de 1 minute.

B

Fausse

Réduire le nombre de workers pour minimiser le coût de coordination.

La réduction des workers diminue le débit global, aggravant la saturation du CPU qui provoque les signaux de vie manqués ; l'ajout de workers ajoute de la capacité. C'est tentant car moins de workers réduisent le trafic de brassage et de coordination, ce qui n'aide que lorsque le goulot d'étranglement est la communication entre workers plutôt que la charge CPU par worker.

C

Fausse

Utiliser une fenêtre globale avec un déclencheur (trigger) pour réduire la taille de l'état.

Une fenêtre globale supprime le fenêtrage par clé mais accumule un état non borné, aggravant la pression sur le CPU à l'origine des pannes de signal de vie. C'est tentant car cela réduit la comptabilité des fenêtres, mais une fenêtre globale avec des déclencheurs (triggers) est correcte lors de l'agrégation sur toutes les clés sans limites temporelles significatives.

D

Fausse

Modifier le fenêtrage en une fenêtre fixe de 5 minutes pour réduire les calculs.

Les fenêtres fixes agrègent toujours par clé et ne résolvent pas la saturation du CPU provoquant les signaux de vie manqués ; elles modifient simplement le moment de l'émission. C'est tentant car les fenêtres glissantes calculent des tranches qui se chevauchent, mais les fenêtres fixes sont correctes lorsque des agrégats alignés et ne se chevauchant pas sont réellement requis par la logique métier.

Pour aller plus loin

Les workers Dataflow émettent des signaux de vie vers le service Dataflow. Si le CPU d'un worker est saturé, le thread de signal de vie peut être privé de ressources et le service déclare le worker mort, produisant l'erreur 'The worker failed to provide a heartbeat.' Une fenêtre glissante de 5 minutes avec une période de 1 minute crée cinq fenêtres qui se chevauchent par clé, de sorte que chaque élément est mis en mémoire tampon et réémis dans plusieurs fenêtres, multipliant ainsi l'état et le travail d'agrégation par clé. L'ajout de workers avec le dimensionnement automatique (autoscaling) répartit les clés chaudes et les calculs par fenêtre sur un plus grand nombre d'instances Compute Engine, rétablissant la réactivité des signaux de vie. En pratique, un pipeline de flux de clics pour le commerce de détail connaissant un pic de trafic peut rencontrer cette panne exacte ; l'augmentation de maxNumWorkers et l'activation du dimensionnement automatique (autoscaling) résolvent le problème sans modifier la sémantique du fenêtrage.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.