Resposta correta
- AO tipo de worker do job do Glue é muito pequeno para o volume de dados
Explicação
O erro 'MemoryError' no AWS Glue indica que o tipo de worker alocado para o job não possui memória suficiente para processar o volume de dados. Os workers do Glue (Standard, G.1X, G.2X) têm alocações de memória fixas (por exemplo, 16 GB para o Standard) e, se os dados de streaming do Kinesis excederem isso, o job falhará. Aumentar o tipo de worker ou o número de workers resolve o problema.
Para se aprofundar
Os jobs de streaming do AWS Glue são executados em executores do Apache Spark cuja memória é limitada pelo tipo de worker (G.1X, G.2X, G.4X, G.8X). Um 'MemoryError' indica que o heap do executor ou a memória off-heap está esgotada, geralmente porque o tamanho do micro-batch ou o armazenamento de estado excede o que o worker pode reter. A contagem de shards do Kinesis afeta o throughput de leitura, não a memória por executor, e a contagem de DynamicFrames não é um fator determinante de memória. Uma subtileza: os jobs de streaming do Glue salvam pontos de verificação no S3 e mantêm o estado para agregações baseadas em janelas; janelas grandes ou chaves de alta cardinalidade aumentam a memória. Na prática, um engenheiro de dados que observe um 'MemoryError' intermitente durante o pico de ingestão deve dimensionar o tipo de worker para cima ou aumentar o numberOfWorkers, além de ajustar maxRetries e o intervalo de lote.
Sobre estas questões de prática
Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.