MédiaMúltipla escolha

Questão de prática de DEA-C01

Uma empresa usa o AWS Glue para processar dados de streaming do Amazon Kinesis Data Streams. O job falha intermitentemente com um erro 'MemoryError'. Qual é a causa MAIS provável?

Escolha a melhor resposta.

Resposta correta

  • AO tipo de worker do job do Glue é muito pequeno para o volume de dados

Explicação

O erro 'MemoryError' no AWS Glue indica que o tipo de worker alocado para o job não possui memória suficiente para processar o volume de dados. Os workers do Glue (Standard, G.1X, G.2X) têm alocações de memória fixas (por exemplo, 16 GB para o Standard) e, se os dados de streaming do Kinesis excederem isso, o job falhará. Aumentar o tipo de worker ou o número de workers resolve o problema.

Por que cada alternativa está certa ou errada

A

Correta

O tipo de worker do job do Glue é muito pequeno para o volume de dados

MemoryError indica que o heap do worker está esgotado durante o processamento. Um tipo de worker muito pequeno fornece memória insuficiente para o volume do stream do Kinesis, fazendo com que o job falhe intermitentemente à medida que a carga aumenta. Dimensionar o tipo de worker resolve diretamente a restrição de memória.

B

Incorreta

O job do Glue usa muitos DynamicFrames

Os DynamicFrames são a abstração padrão do Glue e sua contagem não causa o esgotamento do heap; a memória escala com o tamanho da partição e o estado de embaralhamento. Reduzir os DynamicFrames é relevante ao simplificar transformações, não ao diagnosticar um MemoryError intermitente durante o processamento em micro-batch do Kinesis.

C

Incorreta

O bucket de saída do S3 está em uma região diferente

Gravações no S3 entre regiões afetam a latência e o custo de transferência de dados, e não o uso do heap do worker, portanto não podem produzir um MemoryError. O alinhamento de regiões é importante para conformidade ou ajuste de desempenho, mas a falha aqui se origina na memória do executor durante o processamento do stream.

D

Incorreta

O stream do Kinesis tem shards insuficientes

Shards insuficientes causam limitação de taxa e crescimento da idade do iterador, manifestando-se como ReadProvisionedThroughputExceeded em vez de MemoryError. Adicionar shards é a correção para a escassez de throughput, mas o esgotamento intermitente do heap apontado no enunciado refere-se ao volume de dados por micro-batch e ao estado de agregação.

Para se aprofundar

Os jobs de streaming do AWS Glue são executados em executores do Apache Spark cuja memória é limitada pelo tipo de worker (G.1X, G.2X, G.4X, G.8X). Um 'MemoryError' indica que o heap do executor ou a memória off-heap está esgotada, geralmente porque o tamanho do micro-batch ou o armazenamento de estado excede o que o worker pode reter. A contagem de shards do Kinesis afeta o throughput de leitura, não a memória por executor, e a contagem de DynamicFrames não é um fator determinante de memória. Uma subtileza: os jobs de streaming do Glue salvam pontos de verificação no S3 e mantêm o estado para agregações baseadas em janelas; janelas grandes ou chaves de alta cardinalidade aumentam a memória. Na prática, um engenheiro de dados que observe um 'MemoryError' intermitente durante o pico de ingestão deve dimensionar o tipo de worker para cima ou aumentar o numberOfWorkers, além de ajustar maxRetries e o intervalo de lote.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.