Respuesta correcta
- AEl tipo de worker del trabajo de Glue es demasiado pequeño para el volumen de datos
Explicación
El error 'MemoryError' en AWS Glue indica que el tipo de worker asignado al trabajo no tiene memoria suficiente para procesar el volumen de datos. Los workers de Glue (Standard, G.1X, G.2X) tienen asignaciones de memoria fijas (por ejemplo, 16 GB para Standard) y, si los datos de streaming de Kinesis superan este límite, el trabajo falla. Aumentar el tipo de worker o el número de workers resuelve este problema.
Para profundizar
Los trabajos de streaming de AWS Glue se ejecutan en ejecutores de Apache Spark cuya memoria está limitada por el tipo de worker (G.1X, G.2X, G.4X, G.8X). Un 'MemoryError' indica que el heap del ejecutor o la memoria fuera del heap se han agotado, por lo general porque el tamaño del micro-lote o el almacén de estado supera lo que el worker puede contener. El recuento de shards de Kinesis afecta al rendimiento de lectura, no a la memoria por ejecutor, y el recuento de DynamicFrames no es un factor determinante de la memoria. Un matiz: los trabajos de streaming de Glue realizan puntos de control en S3 y mantienen el estado para agregaciones con ventanas; las ventanas grandes o las claves de alta cardinalidad influyen en la memoria. En la práctica, un ingeniero de datos que observe un 'MemoryError' intermitente durante la ingesta máxima debe escalar el tipo de worker o aumentar numberOfWorkers, y ajustar maxRetries y el intervalo de lotes.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.