MédiaMúltipla escolha

Questão de prática de PMLE

Uma empresa implanta um modelo personalizado do TensorFlow no Vertex AI Endpoint para previsões online. Após a implantação, a latência de previsão é consistentemente alta (mais de 500 ms) mesmo sob tráfego baixo. O modelo usa apenas CPU e o tipo de máquina padrão (n1-standard-2) é utilizado. Qual ação provavelmente reduzirá a latência de previsão?

Escolha a melhor resposta.

Resposta correta

  • BAlterar o tipo de máquina para n1-highcpu-16 com um acelerador GPU.

Explicação

Alterar o tipo de máquina para n1-highcpu-16 com um acelerador GPU fornece recursos de computação significativamente maiores para o modelo TensorFlow personalizado. O n1-highcpu-16 oferece 16 vCPUs (em comparação com 2 no n1-standard-2), o que reduz o tempo de inferência limitado pela CPU, e a adição de uma GPU acelera as operações matriciais comuns em modelos do TensorFlow, reduzindo diretamente a latência por solicitação. A opção A está incorreta porque aumentar o max_replica_count permite mais solicitações paralelas, mas não melhora o tempo de processamento de uma única solicitação. A opção C está incorreta porque definir o min_replica_count garante capacidade sempre ativa para evitar partidas a frio, mas não reduz a latência em estado estacionário. A opção D está incorreta porque aumentar o tamanho do lote na solicitação de previsão aumenta a vazão processando várias entradas juntas, mas não reduz a latência para uma única previsão — na verdade, pode aumentar o tempo para retornar um resultado para uma determinada solicitação.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o max_replica_count para 10 para permitir mais solicitações paralelas.

Mais réplicas melhoram a vazão, mas não a latência por solicitação.

B

Correta

Alterar o tipo de máquina para n1-highcpu-16 com um acelerador GPU.

Adicionar um acelerador GPU descarrega as operações matriciais do TensorFlow da CPU, abordando diretamente a restrição de apenas CPU que causa a latencia de 500 ms. O formato n1-highcpu-16 fornece proporcionalmente mais vCPUs e memória para pré-processamento e agrupamento em lotes, de modo que a inferência é concluída mais rapidamente mesmo com tráfego baixo.

C

Incorreta

Definir min_replica_count como 3 para garantir capacidade sempre ativa.

O mínimo de réplicas reduz a partida a frio, mas não a latência em estado estacionário.

D

Incorreta

Aumentar o tamanho do lote na solicitação de previsão.

Lotes maiores aumentam a latencia por solicitação.

Para se aprofundar

A latência de previsão online do Vertex AI depende fortemente do tipo de máquina, da disponibilidade de CPU/GPU e da eficiência do grafo do modelo. O n1-standard-2 oferece apenas 2 vCPUs e 7,5 GB de RAM, o que costuma ser insuficiente para a inferência do TensorFlow que envolve grandes operações matriciais. Mudar para o n1-highcpu-16 fornece 16 vCPUs com uma proporção maior de CPU para memória, e anexar um acelerador GPU descarrega os cálculos de tensores, reduzindo drasticamente a latencia por solicitação. Um comportamento sutil é que a aceleração por GPU só ajuda se o modelo e a compilação do TensorFlow suportarem CUDA; caso contrário, a GPU fica ociosa. Na prática, um modelo limitado por CPU que atende previsões de 500 ms sob tráfego baixo é um sinal clássico de computação subdimensionada, e escalar réplicas ou usar lotes não reduz a latência de solicitação única.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.