MédiaVárias respostas

Questão de prática de DEA-C01

Uma empresa está usando o AWS Glue para executar trabalhos de ETL que transformam dados do S3 para o Redshift. Os trabalhos estão falhando intermitentemente com erros de falta de memória (out-of-memory). Quais TRÊS ações podem ajudar a resolver esse problema? (Escolha TRÊS.)

Escolha todas as respostas corretas.

Respostas corretas

  • AAumentar o número de DPUs alocadas para o trabalho do Glue
  • DOtimizar a lógica de transformação para usar menos memória, por exemplo, filtrando cedo
  • EUsar um tipo de worker maior, como o G.2X

Explicação

Aumentar o número de DPUs alocadas para o trabalho do Glue fornece mais memória e recursos de computação para os executores do Spark, resolvendo diretamente os erros de falta de memória ao permitir que conjuntos de dados maiores sejam processados sem exceder os limites de heap. Esta é uma abordagem de escalonamento padrão para cargas de trabalho de ETL que consomem muita memória no AWS Glue.

Por que cada alternativa está certa ou errada

A

Correta

Aumentar o número de DPUs alocadas para o trabalho do Glue

Mais DPUs fornecem mais memória e recursos de computação.

B

Incorreta

Usar o S3 Select para filtrar dados antes da leitura no trabalho do Glue

O S3 Select aplica filtragem na origem, mas não resolve diretamente erros de falta de memória.

C

Incorreta

Usar a função 'coalesce' do Spark para reduzir o número de partições

O coalesce pode não liberar memória; ele pode até causar falta de memória se houver assimetria de dados.

D

Correta

Otimizar a lógica de transformação para usar menos memória, por exemplo, filtrando cedo

Reduzir o volume de dados precocemente reduz a pressão na memória.

E

Correta

Usar um tipo de worker maior, como o G.2X

Tipos de worker maiores têm mais memória por worker.

Para se aprofundar

O AWS Glue aloca capacidade em Unidades de Processamento de Dados (DPUs), onde uma DPU fornece quatro vCPUs e 16 GB de memória; aumentar a contagem de DPU ou mudar para um tipo de worker maior, como o G.2X (que oferece mais memória por executor), aumenta diretamente o limite de memória disponível para o Spark. Filtrar precocemente na transformação reduz o volume de dados embaralhados (shuffled) e armazenados em cache, o que reduz a pressão de pico na memória, e usar o pushdown de predicado ou o particionamento de poda (partition pruning) alcança um efeito semelhante. Uma sutileza é que o coalesce reduz o número de partições sem um embaralhamento completo, o que pode ajudar quando há muitas partições pequenas, mas também pode concentrar dados em menos executores e piorar a pressão de memória se as partições se tornarem muito grandes; o repartition é a escolha mais segura quando você precisa de uma distribuição uniforme. Essas alavancas são importantes quando os trabalhos processam conjuntos de dados assimétricos onde algumas chaves dominam o embaralhamento.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.