Bonne réponse
- AAugmenter le nombre de workers et activer le dimensionnement automatique (autoscaling) pour répartir la charge.
Explication
L'erreur indiquant qu'un worker n'a pas pu fournir de signal de vie, combinée à une utilisation élevée du CPU, indique que les workers sont surchargés et ne peuvent pas traiter les données assez rapidement pour maintenir leur signal de vie auprès du service Dataflow. Augmenter le nombre de workers et activer le dimensionnement automatique (autoscaling) répartit la charge de calcul sur un plus grand nombre de machines, réduisant la pression CPU par worker et permettant l'envoi des signaux de vie à temps. Cela s'attaque directement à la cause racine de l'épuisement des ressources.
Pour aller plus loin
Les workers Dataflow émettent des signaux de vie vers le service Dataflow. Si le CPU d'un worker est saturé, le thread de signal de vie peut être privé de ressources et le service déclare le worker mort, produisant l'erreur 'The worker failed to provide a heartbeat.' Une fenêtre glissante de 5 minutes avec une période de 1 minute crée cinq fenêtres qui se chevauchent par clé, de sorte que chaque élément est mis en mémoire tampon et réémis dans plusieurs fenêtres, multipliant ainsi l'état et le travail d'agrégation par clé. L'ajout de workers avec le dimensionnement automatique (autoscaling) répartit les clés chaudes et les calculs par fenêtre sur un plus grand nombre d'instances Compute Engine, rétablissant la réactivité des signaux de vie. En pratique, un pipeline de flux de clics pour le commerce de détail connaissant un pic de trafic peut rencontrer cette panne exacte ; l'augmentation de maxNumWorkers et l'activation du dimensionnement automatique (autoscaling) résolvent le problème sans modifier la sémantique du fenêtrage.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.