Resposta correta
- DAtivar a entrega exatamente uma vez na assinatura do Pub/Sub e usar um coletor idempotente
Explicação
As assinaturas do Pub/Sub podem ser configuradas com entrega exatamente uma vez (usando o parâmetro `enableExactlyOnceDelivery`), o que garante que cada mensagem seja entregue ao assinante exatamente uma vez. Combinar isso com um coletor idempotente (por exemplo, Cloud Storage com nomes de arquivo exclusivos ou lógica de desduplicação) garante que, mesmo se um worker falhar e o pipeline for repetido, a saída não conterá duplicatas. Esta é a única opção que aborda diretamente tanto a origem quanto o coletor para alcançar a semântica de ponta a ponta de exatamente uma vez.
Para se aprofundar
A semântica de exatamente uma vez do Apache Beam no Dataflow depende de dois mecanismos cooperativos: a origem não deve reentregar duplicatas e o coletor deve desduplicar ou ser idempotente. O Pub/Sub oferece suporte à entrega exatamente uma vez em uma assinatura, que usa IDs de confirmação e ordenação de mensagens para evitar a reentrega de mensagens já confirmadas, mesmo sob novas tentativas de workers. No lado do coletor, o Dataflow usa a finalização de pacotes e, para streaming, desduplicação baseada em embaralhamento quando o coletor não é idempotente nativamente; gravar no Cloud Storage por meio de coletores baseados em arquivos com nomenclatura determinística e um Reshuffle pode ajudar, mas a garantia depende em última análise da configuração da assinatura de origem mais um coletor idempotente ou de desduplicação. Uma sutileza: a entrega exatamente uma vez no Pub/Sub tem restrições de vazão e regionais, e ativá-la por si só não torna um coletor não idempotente seguro.
Sobre estas questões de prática
Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.