MediaOpción múltiple

Pregunta de práctica de DEA-C01

Una empresa utiliza AWS Glue para procesar datos de streaming de Amazon Kinesis Data Streams. El trabajo falla de forma intermitente con un 'MemoryError'. ¿Cuál es la causa MÁS probable?

Elige la mejor respuesta.

Respuesta correcta

  • AEl tipo de worker del trabajo de Glue es demasiado pequeño para el volumen de datos

Explicación

El error 'MemoryError' en AWS Glue indica que el tipo de worker asignado al trabajo no tiene memoria suficiente para procesar el volumen de datos. Los workers de Glue (Standard, G.1X, G.2X) tienen asignaciones de memoria fijas (por ejemplo, 16 GB para Standard) y, si los datos de streaming de Kinesis superan este límite, el trabajo falla. Aumentar el tipo de worker o el número de workers resuelve este problema.

Por qué cada opción es correcta o incorrecta

A

Correcta

El tipo de worker del trabajo de Glue es demasiado pequeño para el volumen de datos

MemoryError indica que el heap del worker se agota durante el procesamiento. Un tipo de worker demasiado pequeño proporciona memoria insuficiente para el volumen del stream de Kinesis, por lo que el trabajo falla de forma intermitente a medida que aumentan las cargas. Escalar el tipo de worker soluciona directamente la limitación de memoria.

B

Incorrecta

El trabajo de Glue utiliza demasiados DynamicFrames

Los DynamicFrames son la abstracción estándar de Glue y su recuento no provoca el agotamiento del heap; la memoria escala con el tamaño de las particiones y el estado de mezcla. Reducir los DynamicFrames es relevante al simplificar transformaciones, no al diagnosticar un MemoryError intermitente durante el procesamiento de micro-lotes de Kinesis.

C

Incorrecta

El bucket de salida de S3 se encuentra en una región diferente

Las escrituras en S3 entre regiones afectan a la latencia y al coste de transferencia de datos, no al uso del heap del worker, por lo que no pueden producir un MemoryError. La alineación de regiones es importante para el cumplimiento o el ajuste del rendimiento, pero el fallo aquí se origina en la memoria del ejecutor durante el procesamiento del stream.

D

Incorrecta

El stream de Kinesis tiene insuficientes shards

Unos shards insuficientes provocan limitación de tasa y aumento de la antigüedad del iterador, manifestándose como ReadProvisionedThroughputExceeded en lugar de MemoryError. Añadir shards es la solución para la falta de rendimiento, pero el agotamiento intermitente del heap del enunciado apunta al volumen de datos por micro-lote y al estado de agregación.

Para profundizar

Los trabajos de streaming de AWS Glue se ejecutan en ejecutores de Apache Spark cuya memoria está limitada por el tipo de worker (G.1X, G.2X, G.4X, G.8X). Un 'MemoryError' indica que el heap del ejecutor o la memoria fuera del heap se han agotado, por lo general porque el tamaño del micro-lote o el almacén de estado supera lo que el worker puede contener. El recuento de shards de Kinesis afecta al rendimiento de lectura, no a la memoria por ejecutor, y el recuento de DynamicFrames no es un factor determinante de la memoria. Un matiz: los trabajos de streaming de Glue realizan puntos de control en S3 y mantienen el estado para agregaciones con ventanas; las ventanas grandes o las claves de alta cardinalidad influyen en la memoria. En la práctica, un ingeniero de datos que observe un 'MemoryError' intermitente durante la ingesta máxima debe escalar el tipo de worker o aumentar numberOfWorkers, y ajustar maxRetries y el intervalo de lotes.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.