FácilMúltipla escolha

Questão de prática de PMLE

Uma empresa implantou um modelo TensorFlow no Vertex AI Prediction para inferência em tempo real. Eles percebem que, durante os horários de pico, a latência de previsão aumenta significativamente e algumas solicitações esgotam o tempo limite (time out). O modelo requer aceleração por GPU. Qual ação eles devem tomar para reduzir a latência e evitar o esgotamento do tempo limite?

Escolha a melhor resposta.

Resposta correta

  • AAtive o dimensionamento automático com as réplicas mínimas definidas para a carga base e as réplicas máximas para lidar com a carga de pico, e garanta que a cota de GPU seja suficiente.

Explicação

Habilitar o dimensionamento automático (autoscaling) com réplicas mínimas e máximas apropriadas permite que o endpoint seja dimensionado dinamicamente durante o tráfego de pico e reduzido durante o tráfego baixo, garantindo recursos de GPU suficientes para lidar com a carga sem intervenção manual. Garantir uma cota de GPU adequada também é fundamental para evitar o esgotamento de recursos. A opção B está incorreta porque mudar para um tipo de máquina maior com mais vCPUs não resolve a latência de inferencia vinculada à GPU; o gargalo é a aceleração da GPU, não a CPU. A opção C está incorreta porque o aumento estático de réplicas leva ao provisionamento excessivo e ao desperdício durante os horários de menor movimento, e não pode reagir rapidamente a picos repentinos de tráfego. A opção D está incorreta porque o Cloud Functions é sem servidor (serverless) e não oferece suporte à aceleração por GPU; ele adiciona latência extra e não é adequado para inferência de GPU em tempo real.

Por que cada alternativa está certa ou errada

A

Correta

Ative o dimensionamento automático com as réplicas mínimas definidas para a carga base e as réplicas máximas para lidar com a carga de pico, e garanta que a cota de GPU seja suficiente.

Habilitar o dimensionamento automático com réplicas mínimas e máximas adequadas permite que o endpoint seja dimensionado dinamicamente durante o tráfego de pico e reduzido durante o tráfego baixo, garantindo recursos de GPU suficientes para lidar com a carga sem intervenção manual. Garantir uma cota de GPU adequada também é fundamental para evitar o esgotamento de recursos.

B

Incorreta

Mude para um tipo de máquina maior com mais vCPUs.

Adicionar vCPUs não acelera a inferência do TensorFlow vinculada a GPU, e o enunciado afirma que o modelo requer aceleração de GPU, portanto, a latencia persiste. É tentador porque tipos de máquina maiores geralmente aliviam os gargalos de atendimento limitados por CPU, e esse seria o movimento correto para um estágio de pré-processamento ou agrupamento (batching) limitado por CPU.

C

Incorreta

Aumente estaticamente o número de réplicas no endpoint Vertex AI Prediction para lidar com a carga de pico.

Os aumentos estáticos de réplicas adicionam capacidade para solicitações simultâneas, mas cada réplica ainda fica na fila atrás da inferência vinculada à GPU, portanto, a latência por solicitação durante os picos permanece. É tentador porque o dimensionamento horizontal é a resposta padrão para a taxa de transferência, e estaria correto se o endpoint estivesse limitado por CPU ou simplesmente saturado pelo volume de solicitações.

D

Incorreta

Use o Cloud Functions para invocar o modelo de forma assíncrona.

O Cloud Functions invocando o modelo de forma assíncrona remove a espera do chamador, mas não reduz a latência de inferência, e os endpoints em tempo real do Vertex AI ainda expiram sob carga. É tentador porque a invocação assíncrona se adapta a cargas de trabalho em lote ou do tipo disparar e esquecer (fire-and-forget), onde o cliente não precisa de uma previsão imediata.

Para se aprofundar

O dimensionamento automático do Vertex AI Prediction ajusta a contagem de réplicas com base em sinais de utilização, como uso de CPU/GPU e concorrência de solicitações, mas o dimensionamento é limitado pelo minReplicaCount e maxReplicaCount do modelo implantado e pela cota de GPU regional. Quando um modelo alimentado por GPU satura, cada réplica enfileira as solicitações, de modo que a latência aumenta até que o tempo limite (timeout) do cliente seja disparado; adicionar réplicas espalha a carga simultânea. Um limite sutil: o aumento de escala não é instantâneo e as VMs de GPU podem levar minutos para serem provisionadas, portanto, as réplicas mínimas devem cobrir o tráfego de linha de base para absorver picos repentinos. Além disso, se a cota de GPU for esgotada, novas réplicas falham silenciosamente ao serem agendadas, mantendo a latência alta. Na prática, um endpoint de previsão de varejo que vê picos na hora do almoço define réplicas mínimas para carga constante e réplicas máximas para picos, após solicitar cota suficiente de GPU NVIDIA na região.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.