DifícilVárias respostas

Questão de prática de Generative AI Leader

Quais são as TRÊS considerações críticas ao implantar um modelo de inteligência artificial generativa usando Vertex AI Endpoints para uma aplicação sensível à latência? (Escolha TRÊS.)

Escolha todas as respostas corretas.

Respostas corretas

  • ATamanho e arquitetura do modelo
  • CTipo e número de GPU
  • DConfiguração de autoscaling

Explicação

O tamanho e a arquitetura do modelo impactam diretamente a latência de inferência, pois modelos maiores com mais parâmetros exigem mais computação por requisição. Para aplicações sensíveis à latência, escolher um modelo menor ou destilado (por exemplo, Gemma 2B versus 27B) ou usar quantização pode reduzir os tempos de resposta. O Vertex AI Endpoints serve o modelo tal como está, portanto, o custo computacional inerente do modelo é o principal impulsionador da latencia por requisição.

Por que cada alternativa está certa ou errada

A

Correta

Tamanho e arquitetura do modelo

Modelos maiores introduzem maior latência.

B

Incorreta

Número de versões do modelo

O versionamento do modelo não afeta diretamente a latencia.

C

Correta

Tipo e número de GPU

A seleção da GPU impacta a velocidade de inferência.

D

Correta

Configuração de autoscaling

O autoscaling adequado garante baixa latencia sob carga variável.

E

Incorreta

Número de instâncias do modelo

Embora importante, o autoscaling gerencia a contagem de instâncias dinamicamente.

Para se aprofundar

O Vertex AI Endpoints serve modelos em recursos de computação cuja latencia depende do tamanho e da arquitetura do modelo, do tipo e número de aceleradores e do comportamento do autoscaling. Modelos maiores ou arquiteturas com muitos parâmetros exigem mais memória e poder de computação, aumentando a latência por requisição. O tipo e o número de GPU determinam o throughput e se o modelo cabe na memória do acelerador; por exemplo, uma NVIDIA T4 possui 16 GB, enquanto uma A100 possui 40 GB ou 80 GB. A configuração de autoscaling define as contagens mínima e máxima de réplicas e métricas de escala, como a utilização de CPU ou requisições por segundo, afetando diretamente a latencia de inicialização a frio (cold-start) e a capacidade sob carga. O número de versões e instâncias do modelo estão relacionados, mas não são os principais direcionadores de latência; as versões afetam a divisão de tráfego e as instâncias são um resultado do autoscaling. Um cenário realista é uma aplicação de chat que exige respostas em menos de um segundo, onde a escolha de um modelo menor, uma GPU adequada e uma contagem mínima de réplicas evita o cold start.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.