DifícilMúltipla escolha

Questão de prática de PDE

Um pipeline de dados ingere eventos em tempo real do Cloud Pub/Sub para o BigQuery usando o Dataflow. O pipeline usa uma janela deslizante de 5 minutos com um período de 1 minuto para agregar contagens de eventos. Recentemente, o pipeline começou a falhar com o erro 'The worker failed to provide a heartbeat.' Os logs do Dataflow mostram alto uso de CPU nos workers. Qual é a melhor linha de ação para resolver o problema?

Escolha a melhor resposta.

Resposta correta

  • AAumentar o número de workers e habilitar o autoscaling para distribuir a carga.

Explicação

O erro 'The worker failed to provide a heartbeat' combinado com o alto uso de CPU indica que os workers estão sobrecarregados e não conseguem processar os dados rápido o suficiente para manter o batimento cardíaco (heartbeat) com o serviço Dataflow. Aumentar o número de workers e habilitar o autoscaling distribui a carga computacional por mais máquinas, reduzindo a pressão de CPU por worker e permitindo que os heartbeats sejam enviados a tempo. Isso aborda diretamente a causa raiz do esgotamento de recursos.

Por que cada alternativa está certa ou errada

A

Correta

Aumentar o número de workers e habilitar o autoscaling para distribuir a carga.

Escalar horizontalmente os workers com autoscaling alivia diretamente a saturação da CPU que causa a perda de heartbeats, já que a carga de cada worker diminui à medida que a agregação por chave da janela deslizante é redistribuída. Isso satisfaz a restrição de alto uso de CPU do enunciado sem alterar a semântica do janelamento, ao contrário de ajustar a janela de 5 minutos ou o período de 1 minuto.

B

Incorreta

Reduzir o número de workers para minimizar a sobrecarga de coordenação.

Reduzir os workers diminui o rendimento agregado, piorando a saturação da CPU que causa a perda de heartbeats; escalar horizontalmente adiciona capacidade. É tentador porque menos workers reduzem o tráfego de embaralhamento e coordenação, o que ajuda apenas quando o gargalo é a comunicação entre workers em vez da carga de CPU por worker.

C

Incorreta

Usar uma janela global com um gatilho para reduzir o tamanho do estado.

Uma janela global remove o janelamento por chave, mas acumula estado ilimitado, piorando a pressão de CPU por trás das falhas de heartbeat. É tentador porque reduz a contabilidade de janelas, mas uma janela global com gatilhos é correta ao agregar em todas as chaves sem limites de tempo significativos.

D

Incorreta

Alterar o janelamento para uma janela fixa de 5 minutos para reduzir os cálculos.

As janelas fixas ainda agregam por chave e não abordam a saturação de CPU que causa a perda de heartbeats; elas apenas alteram o momento da emissão. É tentador porque janelas deslizantes calculam painéis sobrepostos, mas janelas fixas são corretas quando agregados alinhados e não sobrepostos são genuinamente exigidos pela lógica de negócios.

Para se aprofundar

Os workers do Dataflow emitem heartbeats para o serviço Dataflow; se a CPU de um worker estiver saturada, a thread de heartbeat pode ficar sem recursos e o serviço declara o worker como morto, gerando 'The worker failed to provide a heartbeat.' Uma janela deslizante de 5 minutos com um período de 1 minuto cria cinco painéis sobrepostos por chave, de modo que cada elemento é armazenado em buffer e reemitido em várias janelas, multiplicando o estado e o trabalho de agregação por chave. Adicionar workers com autoscaling espalha as chaves quentes e os cálculos por janela por mais instâncias do Compute Engine, restaurando a capacidade de resposta do heartbeat. Na prática, um pipeline de clickstream de varejo que enfrenta um pico de tráfego pode atingir exatamente essa falha; aumentar maxNumWorkers e habilitar o autoscaling resolve o problema sem alterar a semântica do janelamento.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.