MediaSelección múltiple

Pregunta de práctica de DEA-C01

Una empresa está usando AWS Glue para ejecutar trabajos ETL que transforman datos desde S3 hacia Redshift. Los trabajos fallan intermitentemente con errores de falta de memoria (out-of-memory). ¿Qué TRES acciones pueden ayudar a resolver este problema? (Elija TRES).

Elige todas las respuestas correctas.

Respuestas correctas

  • AAumentar el número de DPUs asignadas al trabajo de Glue
  • DOptimizar la lógica de transformación para usar menos memoria, por ejemplo filtrando de forma temprana
  • EUsar un tipo de trabajador más grande, como G.2X

Explicación

Aumentar el número de DPUs asignadas al trabajo de Glue proporciona más recursos de memoria y computación para los ejecutores de Spark, abordando directamente los errores de falta de memoria al permitir que conjuntos de datos más grandes se procesen sin superar los límites del heap. Este es un enfoque de escalado estándar para cargas de trabajo ETL con uso intensivo de memoria en AWS Glue.

Por qué cada opción es correcta o incorrecta

A

Correcta

Aumentar el número de DPUs asignadas al trabajo de Glue

Más DPUs proporcionan más recursos de memoria y computación.

B

Incorrecta

Usar S3 Select para filtrar datos antes de leerlos en el trabajo de Glue

S3 Select traslada el filtrado pero no resuelve directamente los errores de falta de memoria.

C

Incorrecta

Usar la función 'coalesce' de Spark para reducir el número de particiones

Coalesce puede no liberar memoria; incluso puede causar falta de memoria si existe sesgo en los datos.

D

Correcta

Optimizar la lógica de transformación para usar menos memoria, por ejemplo filtrando de forma temprana

Reducir el volumen de datos de forma temprana disminuye la presión sobre la memoria.

E

Correcta

Usar un tipo de trabajador más grande, como G.2X

Los tipos de trabajadores más grandes tienen más memoria por trabajador.

Para profundizar

AWS Glue asigna capacidad en Data Processing Units, donde una DPU proporciona cuatro vCPUs y 16 GB de memoria; aumentar el recuento de DPUs o cambiar a un tipo de trabajador más grande como G.2X (que ofrece más memoria por ejecutor) eleva directamente el límite de memoria disponible para Spark. Filtrar de manera temprana en la transformación reduce el volumen de datos barajados (shuffled) y almacenados en caché, lo que disminuye la presión máxima sobre la memoria, y el uso de pushdown de predicados o eliminación de particiones logra un efecto similar. Una sutileza es que coalesce reduce el número de particiones sin un barajeo completo, lo que puede ayudar cuando hay demasiadas particiones pequeñas, pero también puede concentrar datos en menos ejecutores y empeorar la presión de memoria si las particiones se vuelven demasiado grandes; repartition es la opción más segura cuando se necesita una distribución uniforme. Estas palancas importan cuando los trabajos procesan conjuntos de datos sesgados donde unas pocas claves dominan el barajeo.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.