Resposta correta
- BAumente o número de DPUs alocadas ao job do Glue.
Explicação
O aumento do número de DPUs (Unidades de Processamento de Dados) alocadas ao job do AWS Glue fornece mais memória e recursos de computação, o que aborda diretamente o erro de falta de memória ao processar arquivos grandes. Os jobs do Glue executam no Apache Spark, e DPUs insuficientes podem fazer com que os executores fiquem sem memória durante operações de embaralhamento (shuffle) ou agregação em grandes conjuntos de dados.
Para se aprofundar
Os jobs do AWS Glue ETL executam em um cluster de unidades de processamento de dados (DPU); cada DPU fornece uma quantidade fixa de vCPU e memória. Erros de memória durante o processamento de arquivos grandes normalmente significam que o heap do executor ou do driver está esgotado, geralmente porque uma única partição é muito grande ou uma operação de embaralhamento (shuffle) excede os limites. O aumento do número de DPUs adiciona executores e memória, permitindo que mais partições sejam processadas em paralelo e reduzindo a carga por executor. Reduzir as partições tornaria cada partição maior e pioraria o problema, um tipo de instância menor reduz a memória, e o S3 Select filtra apenas colunas no momento da leitura e pode não resolver a causa raiz. Na prática, um job do Glue lendo arquivos JSON de vários gigabytes do S3 falha com OutOfMemory; o engenheiro aumenta as DPUs de 10 para 50 e o job é concluído, otimizando posteriormente com a poda de partições e formatos colunares.
Sobre estas questões de prática
Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.