MediaOpción múltiple

Pregunta de práctica de DEA-C01

Una empresa utiliza AWS ETL de Glue para procesar datos de Amazon S3 y escribir los resultados en Amazon Redshift. El trabajo falla con un error de memoria al procesar archivos grandes. ¿Qué acción debe tomar el ingeniero de datos para resolver este problema?

Elige la mejor respuesta.

Respuesta correcta

  • BAumente el número de DPU asignadas al trabajo de Glue.

Explicación

Aumentar el número de DPU (unidades de procesamiento de datos) asignadas al trabajo de AWS Glue proporciona más memoria y recursos de cómputo, lo que aborda directamente el error de falta de memoria al procesar archivos grandes. Los trabajos de Glue se ejecutan en Apache Spark, y unas DPU insuficientes pueden hacer que los ejecutores se queden sin memoria durante operaciones de mezcla (shuffle) o agregación en grandes conjuntos de datos.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Reduzca el número de particiones en el trabajo de Glue.

Menos particiones concentran más datos en cada tarea, lo que aumenta la presión de memoria por ejecutor y empeora el fallo. Es tentador porque reducir las particiones disminuye la sobrecarga de tareas, y sería correcto cuando un exceso de particiones pequeñas causa sobrecarga de programación en lugar de agotamiento de memoria.

B

Correcta

Aumente el número de DPU asignadas al trabajo de Glue.

Aumentar las DPU agrega más ejecutores y memoria por trabajador, abordando directamente el fallo de falta de memoria durante el procesamiento de archivos grandes en S3. Glue distribuye las particiones entre estos trabajadores adicionales, por lo que cada uno maneja una porción más pequeña. Esto satisface la restricción del enunciado: el trabajo falla con un error de memoria, el cual el escalado horizontal de cómputo resuelve.

C

Incorrecta

Cambie a un tipo de instancia más pequeño en la configuración del trabajo de Glue.

Un tipo de instancia más pequeño reduce la memoria disponible, empeorando el fallo de falta de memoria en lugar de resolverlo. Es tentador porque las instancias más pequeñas reducen el costo, y sería correcto cuando el trabajo está sobreaprovisionado y procesa archivos pequeños que nunca se acercan a los límites de memoria.

D

Incorrecta

Utilice S3 Select para filtrar columnas antes de leer en Glue.

S3 Select filtra filas y columnas durante la lectura de S3, pero el error de memoria surge mientras Glue procesa archivos grandes, por lo que no aborda la etapa que falla. Es tentador porque reduce los datos escaneados y el costo, y sería correcto cuando la transferencia de red o el volumen de escaneo, y no la memoria del ejecutor, es el cuello de botella.

Para profundizar

Los trabajos de AWS Glue ETL se ejecutan en un clúster de unidades de procesamiento de datos (DPU); cada DPU proporciona una cantidad fija de vCPU y memoria. Los errores de memoria durante el procesamiento de archivos grandes normalmente significan que el montón del ejecutor o del controlador se ha agotado, a menudo porque una sola partición es demasiado grande o una operación de mezcla (shuffle) se desborda excesivamente. Aumentar el número de DPU agrega tanto ejecutores como memoria, lo que permite procesar más particiones en paralelo y reducir la carga por ejecutor. Reducir las particiones haría que cada partición fuera más grande y empeoraría el problema, un tipo de instancia más pequeño reduce la memoria, y S3 Select solo filtra columnas en el momento de la lectura y puede que no resuelva la causa raíz. En la práctica, un trabajo de Glue que lee archivos JSON de varios gigabytes de S3 falla con OutOfMemory; el ingeniero eleva las DPU de 10 a 50 y el trabajo se completa, luego optimiza más tarde utilizando la poda de particiones y formatos columnares.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.