DifícilVárias respostas

Questão de prática de DEA-C01

Uma empresa executa um data lake no Amazon S3 com o AWS Glue e o Amazon Athena. O engenheiro de dados percebe que as consultas estão lentas e escaneiam grandes quantidades de dados. Quais TRÊS ações o engenheiro deve tomar para otimizar o desempenho das consultas e reduzir custos?

Escolha todas as respostas corretas.

Respostas corretas

  • CCompactar arquivos de dados usando gzip ou snappy.
  • DParticionar os dados por colunas frequentemente filtradas (por exemplo, data, região).
  • EUsar formatos de dados colunares como Parquet ou ORC.

Explicação

A opção C está correta porque compactar arquivos de dados usando gzip ou snappy reduz o total de bytes armazenados e escaneados, e o Athena cobra e tem desempenho baseado nos dados escaneados, portanto, arquivos menores reduzem tanto a latência quanto o custo da consulta. A opção D está correta porque particionar os dados do S3 por colunas frequentemente filtradas, como data ou região, ativa a eliminação de partições (partition pruning), fazendo com que o Athena leia apenas os prefixos relevantes em vez de escanear toda a tabela. A opção E está correta porque formatos colunares como Parquet ou ORC permitem que o Athena leia apenas as colunas referenciadas em uma consulta e fornecem melhor compactação e empurrão de predicado (predicate pushdown), reduzindo drasticamente os dados escaneados em comparação com formatos baseados em linhas como CSV ou JSON. A opção A não é apropriada porque aumentar o tempo limite de consulta no Athena apenas permite que consultas demoradas terminem; ela não reduz a quantidade de dados escaneados nem melhora o desempenho. A opção B não é apropriada porque adicionar DPU ao job do Glue acelera o processamento de ETL em si, e não o desempenho das consultas do Athena ou o volume de dados escaneados no momento da consulta.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o tempo limite de consulta no Athena.

Aumentar o tempo limite de consulta no Athena apenas permite que uma varredura completa de tabela lenta seja executada por mais tempo; ela não reduz os bytes escaneados nem diminui o custo. É tentador quando as consultas falham por tempo limite, mas as correções reais são particionamento, conversão para Parquet ou ORC colunar e o uso de crawlers ou compactação do Glue.

B

Incorreta

Aumentar o número de DPUs no job do Glue.

Adicionar DPUs acelera o job de ETL do Glue em si, e não as varreduras de consulta do Athena nos dados existentes do S3. É tentador porque o desempenho do Glue parece relacionado, mas consultas lentas e altos volumes de varredura são tratados por particionamento, formatos colunares como Parquet e compactação.

C

Correta

Compactar arquivos de dados usando gzip ou snappy.

A compactação reduz o tamanho dos arquivos no S3, de modo que o Athena escaneia menos bytes por consulta, cortando tanto o tempo de execução quanto os custos de varredura por terabyte. Isso aborda diretamente o problema de varredura de grandes dados no enunciado, mantendo a legibilidade pelo Glue e pelo Athena.

D

Correta

Particionar os dados por colunas frequentemente filtradas (por exemplo, data, região).

O particionamento por colunas frequentemente filtradas ativa a eliminação de partições, para que o Athena leia apenas os prefixos relevantes do S3 em vez de todo o conjunto de dados. Isso reduz diretamente os bytes escaneados que causam as consultas lentas e custosas descritas no enunciado.

E

Correta

Usar formatos de dados colunares como Parquet ou ORC.

Formatos colunares armazenam dados por coluna, de modo que o Athena lê apenas as colunas referenciadas em uma consulta em vez de linhas inteiras. Isso reduz os bytes escaneados e o custo, abordando diretamente as grandes varreduras descritas no enunciado.

Para se aprofundar

O Athena cobra com base nos dados escaneados, portanto, reduzir o volume de varredura é fundamental. O particionamento divide os dados em pastas (por exemplo, por data) para que consultas com cláusulas WHERE em chaves de partição escaneiem apenas as partições relevantes. Formatos colunares como o Parquet armazenam dados por coluna, permitindo que o Athena leia apenas as colunas necessárias e aplique o empurrão de predicado. A compactação reduz o armazenamento e E/S. Uma sutileza: particionar por colunas de alta cardinalidade pode criar muitos arquivos pequenos, prejudicando o desempenho; escolha colunas com cardinalidade moderada. Cenário do mundo real: uma consulta filtrando por data e região em um conjunto de dados particionado e compactado com Parquet pode escanear 90% menos dados do que CSV, reduzindo custos e latência.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.