DifícilMúltipla escolha

Questão de prática de DEA-C01

Uma empresa usa o Amazon Kinesis Data Analytics para Apache Flink para processar dados em streaming. O aplicativo lê de um fluxo de dados do Kinesis, executa uma agregação de janela deslizante (tumbling window) de 1 minuto e grava os resultados em um bucket do S3. Recentemente, o aplicativo começou a apresentar falhas de ponto de verificação (checkpoint) e aumento no atraso de processamento. Qual ação o engenheiro deve tomar PRIMEIRO para diagnosticar o problema?

Escolha a melhor resposta.

Resposta correta

  • BMonitorar a utilização de CPU e memória do aplicativo Flink usando métricas do Amazon CloudWatch.

Explicação

Quando um aplicativo Flink apresenta falhas de checkpoint e atraso de processamento crescente, a primeira etapa de diagnóstico é verificar a utilização de recursos por meio de métricas do CloudWatch (CPU, memória, heap, duração do checkpoint). Falhas de checkpoint geralmente decorrem de contrapressão (backpressure) ou esgotamento de recursos, portanto, entender se o aplicativo está limitado por CPU ou memória orienta a próxima ação. Esta é a primeira etapa menos invasiva e mais informativa.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o paralelismo do aplicativo Flink.

Aumentar o paralelismo redistribui a carga, mas não pode reparar checkpoints com falha, e pode amplificar a contenção de acesso ao estado e o atraso. É tentador porque o paralelismo é o remédio padrão para gargalos de vazão, por isso seria correto se o enunciado mostrasse um déficit de capacidade sustentado em vez de falhas de checkpoint com atraso crescente.

B

Correta

Monitorar a utilização de CPU e memória do aplicativo Flink usando métricas do Amazon CloudWatch.

Falhas de checkpoint e aumento no atraso de processamento normalmente decorrem do esgotamento de recursos, como pressão de CPU ou memória, ou contrapressão dentro do aplicativo Flink. Analisar primeiro as métricas de CPU e memória do CloudWatch identifica se os gerenciadores de tarefas estão saturados, abordando diretamente a restrição de diagnóstico do enunciado antes de um ajuste mais profundo.

C

Incorreta

Mudar para a Kinesis Client Library (KCL) para o gerenciamento de checkpoints.

O KCL é um mecanismo de checkpoint de biblioteca consumidora para leitura de fluxos do Kinesis, e não o backend de estado gerenciado do Flink, portanto, não pode substituir o armazenamento de checkpoints do Flink. É tentador porque o KCL se adapta a aplicativos consumidores personalizados do Kinesis, mas um aplicativo Flink faz o checkpoint por meio de seu backend de estado configurado e destino S3.

D

Incorreta

Aumentar o intervalo de checkpoints para reduzir a frequência dos checkpoints.

Alongar o intervalo de checkpoint apenas reduz a frequência com que os checkpoints ocorrem; isso não identifica o motivo de falharem e atrasa a recuperação, piorando o atraso de processamento. É tentador porque a sobrecarga de checkpoint realmente causa contrapressão, portanto, ajustar os intervalos é válido assim que se sabe que a causa raiz é o custo do checkpoint em vez de uma falha subjacente.

Para se aprofundar

O checkpointing do Flink tira capturas instantâneas do estado do operador para armazenamento durável (por exemplo, S3) em intervalos configurados. As falhas geralmente surgem de contrapressão (operadores lentos fazendo com que as barreiras de checkpoint fiquem atrasadas), memória insuficiente no gerenciador de tarefas (task manager) causando pausas de coleta de lixo (GC) ou tamanho de estado excedendo os limites configurados. As métricas do CloudWatch para o Kinesis Data Analytics expõem 'cpuUtilization', 'heapMemoryUtilization', 'numRecordsInPerSecond' e métricas relacionadas a checkpoints, como 'lastCheckpointDuration' e 'numberOfFailedCheckpoints'. Um comportamento sutil: os tempos limite de checkpoint são frequentemente um sintoma de contrapressão, não um problema de configuração de checkpoint, portanto, ajustar as configurações de checkpoint sem corrigir o gargalo é inútil. Cenário do mundo real: um engenheiro vê um aumento em 'millisBehindLatest' na origem e checkpoints com falha, verifica a utilização do heap, encontra uso excessivo de GC e aumenta a memória do gerenciador de tarefas ou corrige um coletor lento.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.