DifícilSelección múltiple

Pregunta de práctica de DEA-C01

Una empresa ejecuta un lago de datos en Amazon S3 con AWS Glue y Amazon Athena. El ingeniero de datos nota que las consultas son lentas y escanean grandes cantidades de datos. ¿Qué TRES acciones debe tomar el ingeniero para optimizar el rendimiento de las consultas y reducir los costos?

Elige todas las respuestas correctas.

Respuestas correctas

  • CComprimir los archivos de datos usando gzip o snappy.
  • DParticionar los datos por columnas filtradas frecuentemente (por ejemplo, fecha, región).
  • EUtilizar formatos de datos columnares como Parquet u ORC.

Explicación

La opción C es correcta porque comprimir los archivos de datos con gzip o snappy reduce el total de bytes almacenados y escaneados, y Athena cobra y rinde según los datos escaneados, por lo que los archivos más pequeños reducen tanto la latencia de las consultas como el costo. La opción D es correcta porque particionar los datos de S3 por columnas filtradas frecuentemente, como la fecha o la región, habilita el recorte de particiones, de modo que Athena lee solo los prefijos relevantes en lugar de escanear toda la tabla. La opción E es correcta porque los formatos columnares como Parquet u ORC permiten que Athena lea solo las columnas referenciadas en la consulta y proporcionan una mejor compresión y propagación de predicados, lo que reduce drásticamente los datos escaneados en comparación con los formatos basados en filas como CSV o JSON. La opción A no es apropiada porque aumentar el tiempo de espera de las consultas en Athena solo permite que las consultas de larga duración finalicen; no reduce la cantidad de datos escaneados ni mejora el rendimiento. La opción B no es apropiada porque agregar DPU al trabajo de Glue acelera el procesamiento ETL, no el rendimiento de las consultas de Athena ni el volumen de datos escaneados en el momento de la consulta.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el tiempo de espera de las consultas en Athena.

Elevar el tiempo de espera de las consultas en Athena solo permite que un análisis lento de tabla completa se ejecute durante más tiempo; no reduce los bytes escaneados ni disminuye el costo. Es tentador cuando las consultas fallan por tiempo de espera, pero las soluciones reales son el particionamiento, la conversión a Parquet u ORC columnar, y el uso de rastreadores o compactación de Glue.

B

Incorrecta

Aumentar el número de DPU en el trabajo de Glue.

Agregar DPU acelera el trabajo ETL de Glue en sí, no los análisis de consultas de Athena sobre los datos existentes de S3. Es tentador porque el rendimiento de Glue parece relacionado, pero las consultas lentas y los altos volúmenes de escaneo se abordan mediante particionamiento, formatos columnares como Parquet y compresión o compactación.

C

Correcta

Comprimir los archivos de datos usando gzip o snappy.

La compresión reduce el tamaño de los archivos en S3, por lo que Athena escanea menos bytes por consulta, lo que reduce tanto el tiempo de ejecución como los costos de escaneo por terabyte. Esto aborda directamente el problema de escaneo de grandes datos en el enunciado sin dejar de ser legible por Glue y Athena.

D

Correcta

Particionar los datos por columnas filtradas frecuentemente (por ejemplo, fecha, región).

Particionar por columnas filtradas frecuentemente habilita el recorte de particiones, por lo que Athena lee solo los prefijos de S3 relevantes en lugar de todo el conjunto de datos. Esto reduce directamente los bytes escaneados que causan las consultas lentas y costosas descritas en el enunciado.

E

Correcta

Utilizar formatos de datos columnares como Parquet u ORC.

Los formatos columnares almacenan los datos por columna, por lo que Athena lee solo las columnas referenciadas en una consulta en lugar de filas enteras. Esto reduce los bytes escaneados y el costo, abordando directamente los grandes escaneos descritos en el enunciado.

Para profundizar

Athena cobra en función de los datos escaneados, por lo que reducir el volumen de escaneo es clave. El particionamiento divide los datos en carpetas (por ejemplo, por fecha) para que las consultas con cláusulas WHERE en las claves de partición escaneen solo las particiones relevantes. Los formatos columnares como Parquet almacenan los datos por columna, lo que permite a Athena leer solo las columnas necesarias y aplicar la propagación de predicados. La compresión reduce el almacenamiento y la E/S. Un detalle sutil: particionar por columnas de alta cardinalidad puede crear demasiados archivos pequeños, lo que perjudica el rendimiento; elija columnas con cardinalidad moderada. Escenario del mundo real: una consulta que filtra por fecha y región en un conjunto de datos particionado y comprimido con Parquet puede escanear un 90% menos de datos que CSV, lo que reduce costos y latencia.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DEA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.