Bonne réponse
- ALe type de travailleur du travail Glue est trop petit pour le volume de données
Explication
L'erreur 'MemoryError' dans AWS Glue indique que le type de travailleur alloué au travail ne dispose pas de suffisamment de mémoire pour traiter le volume de données. Les travailleurs Glue (Standard, G.1X, G.2X) ont des allocations de mémoire fixes (par exemple, 16 GB pour Standard), et si les données en streaming de Kinesis dépassent cette limite, le travail échoue. L'augmentation du type de travailleur ou du nombre de travailleurs résout ce problème.
Pour aller plus loin
Les travaux de streaming AWS Glue s'exécutent sur des exécuteurs Apache Spark dont la mémoire est limitée par le type de travailleur (G.1X, G.2X, G.4X, G.8X). Une erreur 'MemoryError' indique que le tas de l'exécuteur ou la mémoire hors tas est saturé, généralement parce que la taille du micro-lot ou le magasin d'état dépasse ce que le travailleur peut contenir. Le nombre de fragments Kinesis affecte le débit de lecture, pas la mémoire par exécuteur, et le nombre de DynamicFrames n'est pas un facteur de mémoire. Une subtilité : les travaux de streaming Glue effectuent des points de contrôle sur S3 et conservent l'état pour les agrégations fenêtrées ; de grandes fenêtres ou des clés à haute cardinalité augmentent la mémoire. En pratique, un ingénieur de données observant un 'MemoryError' intermittent lors des pics d'ingestion doit augmenter le type de travailleur ou le nombre de travailleurs (numberOfWorkers), et ajuster maxRetries ainsi que l'intervalle de lots.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.