MoyenneChoix unique

Question d'entraînement DEA-C01

Une entreprise utilise AWS Glue pour traiter des données en streaming provenant d'Amazon Kinesis Data Streams. Le travail échoue de manière intermittente avec l'erreur 'MemoryError'. Quelle est la cause la PLUS probable ?

Choisissez la meilleure réponse.

Bonne réponse

  • ALe type de travailleur du travail Glue est trop petit pour le volume de données

Explication

L'erreur 'MemoryError' dans AWS Glue indique que le type de travailleur alloué au travail ne dispose pas de suffisamment de mémoire pour traiter le volume de données. Les travailleurs Glue (Standard, G.1X, G.2X) ont des allocations de mémoire fixes (par exemple, 16 GB pour Standard), et si les données en streaming de Kinesis dépassent cette limite, le travail échoue. L'augmentation du type de travailleur ou du nombre de travailleurs résout ce problème.

Pourquoi chaque option est juste ou fausse

A

Juste

Le type de travailleur du travail Glue est trop petit pour le volume de données

MemoryError indique que le tas du travailleur est saturé pendant le traitement. Un type de travailleur trop petit fournit une mémoire insuffisante pour le volume du flux Kinesis, de sorte que le travail échoue par intermittence lors des pics de charge. Le passage à une échelle supérieure du type de travailleur résout directement la contrainte de mémoire.

B

Fausse

Le travail Glue utilise trop de DynamicFrames

Les DynamicFrames sont l'abstraction standard de Glue et leur nombre n'entraîne pas la saturation du tas ; la mémoire est mise à l'échelle en fonction de la taille des partitions et de l'état du mélange. La réduction du nombre de DynamicFrames est pertinente lors de la simplification des transformations, et non lors du diagnostic d'une erreur 'MemoryError' intermittente pendant le traitement par micro-lots Kinesis.

C

Fausse

Le compartiment S3 de sortie se trouve dans une région différente

Les écritures S3 inter-régions affectent la latence et le coût de transfert des données, mais pas l'utilisation du tas du travailleur, elles ne peuvent donc pas produire de MemoryError. L'alignement des régions importe pour la conformité ou l'optimisation des performances, mais l'échec trouve ici son origine dans la mémoire de l'exécuteur pendant le traitement du flux.

D

Fausse

Le flux Kinesis possède un nombre insuffisant de fragments

Un nombre insuffisant de fragments provoque une limitation du débit et une augmentation de l'âge de l'itérateur, se manifestant par ReadProvisionedThroughputExceeded plutôt que par MemoryError. L'ajout de fragments est la solution pour l'asphyxie du débit, mais la saturation intermittente du tas dans l'énoncé pointe vers le volume de données par micro-lot et l'état d'agrégation.

Pour aller plus loin

Les travaux de streaming AWS Glue s'exécutent sur des exécuteurs Apache Spark dont la mémoire est limitée par le type de travailleur (G.1X, G.2X, G.4X, G.8X). Une erreur 'MemoryError' indique que le tas de l'exécuteur ou la mémoire hors tas est saturé, généralement parce que la taille du micro-lot ou le magasin d'état dépasse ce que le travailleur peut contenir. Le nombre de fragments Kinesis affecte le débit de lecture, pas la mémoire par exécuteur, et le nombre de DynamicFrames n'est pas un facteur de mémoire. Une subtilité : les travaux de streaming Glue effectuent des points de contrôle sur S3 et conservent l'état pour les agrégations fenêtrées ; de grandes fenêtres ou des clés à haute cardinalité augmentent la mémoire. En pratique, un ingénieur de données observant un 'MemoryError' intermittent lors des pics d'ingestion doit augmenter le type de travailleur ou le nombre de travailleurs (numberOfWorkers), et ajuster maxRetries ainsi que l'intervalle de lots.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.