FácilMúltipla escolha

Questão de prática de PDE

Uma empresa está ingerindo dados de sensores em tempo real de milhares de dispositivos para o Cloud Pub/Sub. Eles precisam processar esses dados com baixa latência (segundos) e semântica de exatamente uma vez (exactly-once). Qual serviço de processamento de dados eles devem usar?

Escolha a melhor resposta.

Resposta correta

  • CDataflow streaming com processamento de exatamente uma vez

Explicação

Dataflow streaming com processamento de exatamente uma vez é a escolha correta porque fornece semântica de exatamente uma vez para fontes do Pub/Sub por meio de pontos de verificação (checkpointing) e coletores idempotentes, e atende ao requisito de baixa latência (segundos) por meio de seu mecanismo de streaming que minimiza a sobrecarga por elemento. A integração do Cloud Dataflow com o Pub/Sub garante que cada mensagem seja processada exatamente uma vez, mesmo na presença de falhas, usando instantâneos (snapshots) e gerenciamento de estado consistente.

Por que cada alternativa está certa ou errada

A

Incorreta

Cloud Run com Pub/Sub push

O Cloud Run com Pub/Sub push entrega pelo menos uma vez (at-least-once); entregas duplicadas ocorrem, portanto, a semântica de exatamente uma vez não é fornecida. Ele atende a manipuladores HTTP sem estado ou de eventos onde o reprocessamento ocasional é tolerável, e não ao streaming com estado com requisitos de desduplicação e janelas.

B

Incorreta

Cloud Functions acionado por Pub/Sub

O Cloud Functions acionado por Pub/Sub também entrega pelo menos uma vez, de modo que invocações duplicadas quebram o processamento de exatamente uma vez. Ele se encaixa em manipuladores de eventos leves e de curta duração, enquanto a agregação de streaming de exatamente uma vez precisa de um executor que rastreie o estado e os pontos de verificação de deslocamento, como o Dataflow.

C

Correta

Dataflow streaming com processamento de exatamente uma vez

O Dataflow streaming fornece o processamento por registro de baixa latência que a ingestão do Pub/Sub requer, e seu modo de exatamente uma vez desduplica via IDs de mensagem do Pub/Sub e gravações de estado transacionais. Isso satisfaz tanto as restrições de latência de nível de segundos quanto de semântica de exatamente uma vez sem pontos de verificação personalizados.

D

Incorreta

Dataproc com Spark Streaming

O Spark Streaming no Dataproc fornece processamento de pelo menos uma vez por padrão; exatamente uma vez requer coletores idempotentes extras ou gravações transacionais que você mesmo deve projetar. O Dataproc atende a cargas de trabalho Hadoop ou Spark do tipo lift-and-shift, e não a um serviço gerenciado que oferece semântica de exatamente uma vez pronta para uso.

Para se aprofundar

O processamento de exatamente uma vez do Dataflow é alcançado através de uma combinação de desduplicação do lado da origem (usando IDs de mensagem do Pub/Sub e checkpointing baseado em instantâneos) e idempotência do lado do coletor (por exemplo, inserções em streaming do BigQuery com insertId). Sob o capô, o Dataflow usa um algoritmo de instantâneo distribuído (baseado no modelo de Chandy-Lamport) para capturar o estado de todos os operadores e o progresso de cada assinatura do Pub/Sub, permitindo que ele seja retomado exatamente a partir do ponto de falha sem processamento duplicado. Em um cenário do mundo real, se um worker falhar no meio do fluxo, o instantâneo do Dataflow garante que nenhuma mensagem seja processada mais de uma vez, o que é crítico para transações financeiras ou dados de sensores onde duplicatas podem causar agregados incorretos.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.