DifícilMúltipla escolha

Questão de prática de PDE

Uma empresa processa dados de sensores de IoT em tempo quase real. Eles ingerem dados via Cloud Pub/Sub, então um pipeline de streaming do Dataflow escreve no Bigtable para consultas de baixa latência. Recentemente, eles observaram um aumento no acúmulo (backlog) de mensagens do Pub/Sub durante picos de tráfego. Qual é a estratégia de dimensionamento mais eficaz?

Escolha a melhor resposta.

Resposta correta

  • BAumentar a contagem de workers do Dataflow e ajustar a configuração de dimensionamento automático

Explicação

O aumento no acúmulo (backlog) do Pub/Sub durante picos de tráfego indica que o pipeline do Dataflow é incapaz de consumir mensagens tão rápido quanto elas são publicadas. Aumentar a contagem de workers do Dataflow e ajustar a configuração de dimensionamento automático permite que o pipeline escale horizontalmente, processando mais mensagens por segundo e reduzindo o acúmulo. O Pub/Sub em si foi projetado para lidar com alto rendimento, portanto o gargalo é o consumidor (Dataflow), e não a camada de ingestão.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o rendimento da assinatura do Pub/Sub aumentando o número de partições

As assinaturas do Pub/Sub não têm partições; o particionamento pertence ao Kafka ou Pub/Sub Lite, portanto esse mecanismo não existe aqui. É tentador porque o paralelismo baseado em partições é a correção padrão de rendimento, e estaria correto para dimensionar um grupo de consumidores do Kafka ou uma assinatura do Pub/Sub Lite.

B

Correta

Aumentar a contagem de workers do Dataflow e ajustar a configuração de dimensionamento automático

Aumentar a contagem de workers do Dataflow com o dimensionamento automático ajustado drena diretamente o acúmulo do Pub/Sub, já que o próprio acúmulo é o sinal de dimensionamento automático para pipelines de streaming. O dimensionamento horizontal de workers eleva o rendimento de processamento paralelo, correspondendo aos picos de tráfego, enquanto alterações no Bigtable ou no lado do Pub/Sub não acelerariam o consumo das mensagens enfileiradas.

C

Incorreta

Usar um Cloud Scheduler para limitar a publicação no Pub/Sub

Limitar a publicação reduz o volume de entrada, de modo que o acúmulo persiste ou piora enquanto os sensores continuam produzindo. É tentador como uma medida de proteção contra sobrecarga, e estaria correto para suavizar o tráfego em rajadas onde a capacidade a jusante é fixa e a perda de dados é aceitável, não para limpar o acúmulo.

D

Incorreta

Adicionar um Cloud Functions para pré-processar mensagens antes que sejam consumidas pelo Dataflow

O Cloud Functions não pode reduzir o acúmulo do Pub/Sub; o dimensionamento automático da contagem de workers do Dataflow com base no rendimento do pipeline é o mecanismo que drena as mensagens mais rapidamente. O pré-processamento adiciona latência e outro salto. O Cloud Functions atende a tarefas leves orientadas a eventos, não ao dimensionamento de um consumidor de streaming.

Para se aprofundar

As assinaturas do Pub/Sub não têm partições; o serviço dimensiona o rendimento automaticamente por assinatura, de modo que o crescimento do acúmulo aponta para o lado do consumidor. Os pipelines de streaming do Dataflow extraem da assinatura, e o número de workers determina quantas mensagens podem ser processadas e confirmadas simultaneamente. O dimensionamento automático horizontal (Streaming Engine ou clássico) adiciona workers com base no acúmulo e na utilização de CPU, enquanto definir maxNumWorkers e dicas apropriadas baseadas em rendimento evita a limitação (throttling). Se o pipeline não conseguir acompanhar o ritmo, o acúmulo da assinatura e a idade da mensagem não confirmada mais antiga aumentam. Na prática, um pipeline de IoT de varejo que veja picos de 10x durante promoções deve aumentar maxNumWorkers e ajustar o dimensionamento automático, em vez de tentar 'particionar' o Pub/Sub ou limitar os publicadores, o que apenas atrasaria a ingestão e perderia valor em tempo real.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.