Respuesta correcta
- BAumente el número de DPU asignadas al trabajo de Glue.
Explicación
Aumentar el número de DPU (unidades de procesamiento de datos) asignadas al trabajo de AWS Glue proporciona más memoria y recursos de cómputo, lo que aborda directamente el error de falta de memoria al procesar archivos grandes. Los trabajos de Glue se ejecutan en Apache Spark, y unas DPU insuficientes pueden hacer que los ejecutores se queden sin memoria durante operaciones de mezcla (shuffle) o agregación en grandes conjuntos de datos.
Para profundizar
Los trabajos de AWS Glue ETL se ejecutan en un clúster de unidades de procesamiento de datos (DPU); cada DPU proporciona una cantidad fija de vCPU y memoria. Los errores de memoria durante el procesamiento de archivos grandes normalmente significan que el montón del ejecutor o del controlador se ha agotado, a menudo porque una sola partición es demasiado grande o una operación de mezcla (shuffle) se desborda excesivamente. Aumentar el número de DPU agrega tanto ejecutores como memoria, lo que permite procesar más particiones en paralelo y reducir la carga por ejecutor. Reducir las particiones haría que cada partición fuera más grande y empeoraría el problema, un tipo de instancia más pequeño reduce la memoria, y S3 Select solo filtra columnas en el momento de la lectura y puede que no resuelva la causa raíz. En la práctica, un trabajo de Glue que lee archivos JSON de varios gigabytes de S3 falla con OutOfMemory; el ingeniero eleva las DPU de 10 a 50 y el trabajo se completa, luego optimiza más tarde utilizando la poda de particiones y formatos columnares.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.