MédiaMúltipla escolha

Questão de prática de DEA-C01

Uma empresa usa o AWS Glue ETL para processar dados do Amazon S3 e gravar os resultados no Amazon Redshift. O job falha com um erro de memória ao processar arquivos grandes. Qual ação o engenheiro de dados deve tomar para resolver esse problema?

Escolha a melhor resposta.

Resposta correta

  • BAumente o número de DPUs alocadas ao job do Glue.

Explicação

O aumento do número de DPUs (Unidades de Processamento de Dados) alocadas ao job do AWS Glue fornece mais memória e recursos de computação, o que aborda diretamente o erro de falta de memória ao processar arquivos grandes. Os jobs do Glue executam no Apache Spark, e DPUs insuficientes podem fazer com que os executores fiquem sem memória durante operações de embaralhamento (shuffle) ou agregação em grandes conjuntos de dados.

Por que cada alternativa está certa ou errada

A

Incorreta

Reduza o número de partições no job do Glue.

Menos partições concentram mais dados em cada tarefa, aumentando a pressão de memória por executor e piorando a falha. É tentador porque reduzir as partições diminui a sobrecarga de tarefas, e seria correto quando o excesso de partições pequenas causa sobrecarga de agendamento em vez de esgotamento de memória.

B

Correta

Aumente o número de DPUs alocadas ao job do Glue.

O aumento de DPUs adiciona mais executores e memória por trabalhador, abordando diretamente a falha de falta de memória durante o processamento de arquivos grandes do S3. O Glue distribui as partições entre esses trabalhadores adicionais, de modo que cada um lida com uma fatia menor. Isso atende à restrição do enunciado: o job falha com um erro de memória, o qual o dimensionamento horizontal de computação resolve.

C

Incorreta

Mude para um tipo de instância menor na configuração do job do Glue.

Um tipo de instância menor reduz a memória disponível, piorando a falha de falta de memória em vez de resolvê-la. É tentador porque instâncias menores reduzem custos, e seria correto quando o job está superdimensionado e processa arquivos pequenos que nunca se aproximam dos limites de memória.

D

Incorreta

Use o S3 Select para filtrar colunas antes de ler no Glue.

O S3 Select filtra linhas e colunas durante a leitura do S3, mas o erro de memória surge enquanto o Glue processa arquivos grandes, portanto, não aborda o estágio que está falhando. É tentador porque reduz os dados escaneados e os custos, e seria correto quando a transferência de rede ou o volume de varredura, e não a memória do executor, for o gargalo.

Para se aprofundar

Os jobs do AWS Glue ETL executam em um cluster de unidades de processamento de dados (DPU); cada DPU fornece uma quantidade fixa de vCPU e memória. Erros de memória durante o processamento de arquivos grandes normalmente significam que o heap do executor ou do driver está esgotado, geralmente porque uma única partição é muito grande ou uma operação de embaralhamento (shuffle) excede os limites. O aumento do número de DPUs adiciona executores e memória, permitindo que mais partições sejam processadas em paralelo e reduzindo a carga por executor. Reduzir as partições tornaria cada partição maior e pioraria o problema, um tipo de instância menor reduz a memória, e o S3 Select filtra apenas colunas no momento da leitura e pode não resolver a causa raiz. Na prática, um job do Glue lendo arquivos JSON de vários gigabytes do S3 falha com OutOfMemory; o engenheiro aumenta as DPUs de 10 para 50 e o job é concluído, otimizando posteriormente com a poda de partições e formatos colunares.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.