Respostas corretas
- AAumentar o número de DPUs alocadas para o trabalho do Glue
- DOtimizar a lógica de transformação para usar menos memória, por exemplo, filtrando cedo
- EUsar um tipo de worker maior, como o G.2X
Explicação
Aumentar o número de DPUs alocadas para o trabalho do Glue fornece mais memória e recursos de computação para os executores do Spark, resolvendo diretamente os erros de falta de memória ao permitir que conjuntos de dados maiores sejam processados sem exceder os limites de heap. Esta é uma abordagem de escalonamento padrão para cargas de trabalho de ETL que consomem muita memória no AWS Glue.
Para se aprofundar
O AWS Glue aloca capacidade em Unidades de Processamento de Dados (DPUs), onde uma DPU fornece quatro vCPUs e 16 GB de memória; aumentar a contagem de DPU ou mudar para um tipo de worker maior, como o G.2X (que oferece mais memória por executor), aumenta diretamente o limite de memória disponível para o Spark. Filtrar precocemente na transformação reduz o volume de dados embaralhados (shuffled) e armazenados em cache, o que reduz a pressão de pico na memória, e usar o pushdown de predicado ou o particionamento de poda (partition pruning) alcança um efeito semelhante. Uma sutileza é que o coalesce reduz o número de partições sem um embaralhamento completo, o que pode ajudar quando há muitas partições pequenas, mas também pode concentrar dados em menos executores e piorar a pressão de memória se as partições se tornarem muito grandes; o repartition é a escolha mais segura quando você precisa de uma distribuição uniforme. Essas alavancas são importantes quando os trabalhos processam conjuntos de dados assimétricos onde algumas chaves dominam o embaralhamento.
Sobre estas questões de prática
Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.