DifficileChoix unique

Question d'entraînement DEA-C01

Une entreprise utilise Amazon Kinesis Data Analytics pour Apache Flink afin de traiter des données en streaming. L'application lit à partir d'un flux de données Kinesis, effectue une agrégation par fenêtre glissante (tumbling window) de 1 minute et écrit les résultats dans un compartiment S3. Récemment, l'application a commencé à subir des échecs de points de contrôle (checkpoints) et un délai de traitement croissant. Quelle action l'ingénieur doit-il entreprendre EN PREMIER pour diagnostiquer le problème ?

Choisissez la meilleure réponse.

Bonne réponse

  • BSurveiller l'utilisation du processeur et de la mémoire de l'application Flink à l'aide des métriques Amazon CloudWatch.

Explication

Lorsqu'une application Flink présente des échecs de points de contrôle et un délai de traitement croissant, la première étape de diagnostic consiste à vérifier l'utilisation des ressources via les métriques CloudWatch (CPU, mémoire, tas, durée du point de contrôle). Les échecs de points de contrôle proviennent souvent d'une contre-pression (backpressure) ou d'un épuisement des ressources, de sorte que comprendre si l'application est limitée par le processeur ou la mémoire guide l'action suivante. Il s'agit de la première étape, la moins invasive et la plus informative.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter le parallélisme de l'application Flink.

L'augmentation du parallélisme redistribue la charge mais ne peut pas réparer les points de contrôle défaillants, et peut amplifier la contention d'accès à l'état ainsi que le délai. C'est tentant car le parallélisme est le remède standard aux goulets d'étranglement de débit, il serait donc correct si l'énoncé montrait un déficit de capacité soutenu plutôt que des échecs de points de contrôle avec un retard croissant.

B

Juste

Surveiller l'utilisation du processeur et de la mémoire de l'application Flink à l'aide des métriques Amazon CloudWatch.

Les échecs de points de contrôle et l'augmentation du délai de traitement proviennent généralement de l'épuisement des ressources, telles que la pression sur le processeur ou la mémoire, ou d'une contre-pression au sein de l'application Flink. L'examen en premier lieu des métriques de processeur et de mémoire de CloudWatch permet d'identifier si les gestionnaires de tâches sont saturés, répondant directement à la contrainte de diagnostic de l'énoncé avant un réglage plus approfondi.

C

Fausse

Basculer vers la bibliothèque client Kinesis (KCL) pour la gestion des points de contrôle.

KCL est un mécanisme de point de contrôle de bibliothèque de consommation pour la lecture des flux Kinesis, et non le backend d'état géré de Flink, il ne peut donc pas remplacer le stockage des points de contrôle de Flink. C'est tentant car KCL convient aux applications de consommation Kinesis personnalisées, mais une application Flink effectue ses points de contrôle via son backend d'état configuré et sa destination S3.

D

Fausse

Augmenter l'intervalle des points de contrôle pour réduire leur fréquence.

Allonger l'intervalle des points de contrôle réduit seulement la fréquence à laquelle ils se produisent ; cela n'identifie pas pourquoi ils échouent et retarde la récupération, aggravant le délai de traitement. C'est tentant car la surcharge des points de contrôle provoque véritablement une contre-pression, de sorte que le réglage des intervalles n'est valable qu'une fois qu'il est établi que la cause profonde est le coût des points de contrôle plutôt qu'un défaut sous-jacent.

Pour aller plus loin

La création de points de contrôle (checkpointing) dans Flink prend des instantanés de l'état de l'opérateur vers un stockage durable (par exemple, S3) à des intervalles configurés. Les échecs proviennent généralement de la contre-pression (les opérateurs lents provoquant un retard des barrières de points de contrôle), d'une mémoire insuffisante du gestionnaire de tâches (task manager) provoquant des pauses de ramasse-miettes (GC), ou d'une taille d'état dépassant les limites configurées. Les métriques CloudWatch pour Kinesis Data Analytics exposent 'cpuUtilization', 'heapMemoryUtilization', 'numRecordsInPerSecond' et des métriques liées aux points de contrôle telles que 'lastCheckpointDuration' et 'numberOfFailedCheckpoints'. Un comportement subtil : les délais d'attente des points de contrôle sont souvent le symptôme d'une contre-pression et non un problème de configuration des points de contrôle, de sorte que le réglage des paramètres de points de contrôle sans résoudre le goulet d'étranglement est inutile. Scénario réel : un ingénieur constate une augmentation de 'millisBehindLatest' sur la source et des échecs de points de contrôle, vérifie l'utilisation du tas, constate un affolement du GC et augmente la mémoire du gestionnaire de tâches ou corrige un récepteur lent.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.