MediaSelección múltiple

Pregunta de práctica de DEA-C01

Una empresa utiliza AWS Glue ETL para transformar y cargar datos desde Amazon S3 a Amazon Redshift. El ingeniero de datos nota que el trabajo está tardando más de lo esperado. ¿Qué DOS acciones pueden mejorar el rendimiento del trabajo?

Elige todas las respuestas correctas.

Respuestas correctas

  • BParticionar los datos de origen en S3.
  • CAumentar el número de DPU para el trabajo de Glue.

Explicación

Las opciones B y C son correctas porque particionar los datos de origen en S3 reduce la cantidad de datos escaneados por Glue, mejorando la eficiencia de E/S, y aumentar el número de DPU añade más paralelismo para las transformaciones. La opción A es incorrecta porque Redshift Spectrum es para consultar datos en S3 directamente desde Redshift, no para trabajos ETL de Glue. La opción D es incorrecta porque S3 Transfer Acceleration acelera las cargas a S3 pero no afecta el rendimiento del trabajo de Glue durante el procesamiento ETL. La opción E es incorrecta porque los tipos de nodos de Redshift más grandes no impactan en la ejecución del trabajo de Glue; solo afectan el rendimiento de las consultas en Redshift.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Utilizar Amazon Redshift Spectrum para consultar datos directamente.

Las consultas de Redshift Spectrum evalúan datos externos almacenados en S3 directamente, omitiendo el paso de carga, por lo que no aceleran un trabajo de Glue que transforma y escribe en tablas de Redshift. Es tentador porque evita genuinamente la carga de datos, y sería correcto si el requisito fuera consultar datos de S3 sin ingerirlos en Redshift.

B

Correcta

Particionar los datos de origen en S3.

Particionar los datos de origen en S3 permite a AWS Glue leer solo las particiones relevantes en lugar de escanear todo el conjunto de datos, reduciendo la E/S y el volumen de mezcla durante la etapa de transformación. Esto aborda directamente la lentitud del trabajo mencionada en el enunciado al reducir los bytes leídos antes de cargar en Amazon Redshift.

C

Correcta

Aumentar el número de DPU para el trabajo de Glue.

Añadir DPU incrementa el número de ejecutores de Apache Spark y tareas paralelas disponibles para el trabajo de Glue, elevando el rendimiento para transformaciones pesadas en operaciones de mezcla. Aborda directamente la restricción del enunciado de un trabajo que se ejecuta durante más tiempo del esperado.

D

Incorrecta

Habilitar S3 Transfer Acceleration.

S3 Transfer Acceleration acelera las cargas a S3 a grandes distancias geográficas, pero Glue lee desde S3 dentro de la misma región, por lo que no añade rendimiento al trabajo ETL. Es tentador porque acelera genuinamente el movimiento de datos en S3, y sería correcto si el cuello de botella fueran las cargas entre regiones hacia el bucket de origen en lugar del procesamiento de Glue.

E

Incorrecta

Utilizar un tipo de nodo de Redshift más grande.

Un tipo de nodo de Redshift más grande escala la computación y el almacenamiento del clúster de destino, pero el tiempo de ejecución del trabajo de Glue está gobernado por su propia asignación de DPU y configuración de mezcla, por lo que no puede acortar la fase ETL. Es tentador porque el dimensionamiento de nodos de Redshift mejora genuinamente el rendimiento de las consultas, y sería correcto si el problema fueran consultas lentas en Redshift, no trabajos lentos de Glue.

Para profundizar

Los trabajos AWS Glue ETL leen desde S3 y escriben en Redshift utilizando el controlador JDBC de Redshift, y el rendimiento a menudo está limitado por el escaneo de datos y el paralelismo. Particionar los datos de origen en S3 por columnas de filtro comunes (por ejemplo, fecha o región) permite a Glue utilizar el recorte de particiones (partition pruning), leyendo solo los prefijos relevantes en lugar de todo el conjunto de datos. Aumentar el número de DPU escala el número de ejecutores, permitiendo más tareas simultáneas y operaciones de mezcla (shuffles) más rápidas. Un comportamiento sutil: los trabajos de Glue tienen un máximo de 100 DPU para trabajadores estándar, y añadir DPU más allá de lo que el volumen de datos justifica puede causar ejecutores inactivos y un costo mayor. Esto importa cuando los trabajos procesan terabytes de datos y necesitan cumplir con los SLA sin sobredimensionar los recursos.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.