DifícilMúltipla escolha

Questão de prática de PDE

Um pipeline do Dataflow lê do Cloud Pub/Sub e grava no Cloud Storage. O pipeline precisa garantir o processamento exatamente uma vez, apesar de falhas de workers. Qual configuração garante a semântica de exatamente uma vez?

Escolha a melhor resposta.

Resposta correta

  • DAtivar a entrega exatamente uma vez na assinatura do Pub/Sub e usar um coletor idempotente

Explicação

As assinaturas do Pub/Sub podem ser configuradas com entrega exatamente uma vez (usando o parâmetro `enableExactlyOnceDelivery`), o que garante que cada mensagem seja entregue ao assinante exatamente uma vez. Combinar isso com um coletor idempotente (por exemplo, Cloud Storage com nomes de arquivo exclusivos ou lógica de desduplicação) garante que, mesmo se um worker falhar e o pipeline for repetido, a saída não conterá duplicatas. Esta é a única opção que aborda diretamente tanto a origem quanto o coletor para alcançar a semântica de ponta a ponta de exatamente uma vez.

Por que cada alternativa está certa ou errada

A

Incorreta

Usar uma entrada lateral de um conjunto de dados de desduplicação

É viável, mas não é uma configuração standard; além disso, adiciona latência.

B

Incorreta

Definir o pipeline para usar uma janela global sem gatilhos antecipados

Não resolve duplicatas devido à reexecução.

C

Incorreta

Inserir uma transformação Reshuffle após a leitura

O Reshuffle melhora o paralelismo, mas não garante exatamente uma vez.

D

Correta

Ativar a entrega exatamente uma vez na assinatura do Pub/Sub e usar um coletor idempotente

A entrega exatamente uma vez do Pub/Sub e uma gravação idempotente no Storage (por exemplo, usando a nomenclatura de arquivos) garantem que não haja duplicatas.

Para se aprofundar

A semântica de exatamente uma vez do Apache Beam no Dataflow depende de dois mecanismos cooperativos: a origem não deve reentregar duplicatas e o coletor deve desduplicar ou ser idempotente. O Pub/Sub oferece suporte à entrega exatamente uma vez em uma assinatura, que usa IDs de confirmação e ordenação de mensagens para evitar a reentrega de mensagens já confirmadas, mesmo sob novas tentativas de workers. No lado do coletor, o Dataflow usa a finalização de pacotes e, para streaming, desduplicação baseada em embaralhamento quando o coletor não é idempotente nativamente; gravar no Cloud Storage por meio de coletores baseados em arquivos com nomenclatura determinística e um Reshuffle pode ajudar, mas a garantia depende em última análise da configuração da assinatura de origem mais um coletor idempotente ou de desduplicação. Uma sutileza: a entrega exatamente uma vez no Pub/Sub tem restrições de vazão e regionais, e ativá-la por si só não torna um coletor não idempotente seguro.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.