Respostas corretas
- ATamanho e arquitetura do modelo
- CTipo e número de GPU
- DConfiguração de autoscaling
Explicação
O tamanho e a arquitetura do modelo impactam diretamente a latência de inferência, pois modelos maiores com mais parâmetros exigem mais computação por requisição. Para aplicações sensíveis à latência, escolher um modelo menor ou destilado (por exemplo, Gemma 2B versus 27B) ou usar quantização pode reduzir os tempos de resposta. O Vertex AI Endpoints serve o modelo tal como está, portanto, o custo computacional inerente do modelo é o principal impulsionador da latencia por requisição.
Para se aprofundar
O Vertex AI Endpoints serve modelos em recursos de computação cuja latencia depende do tamanho e da arquitetura do modelo, do tipo e número de aceleradores e do comportamento do autoscaling. Modelos maiores ou arquiteturas com muitos parâmetros exigem mais memória e poder de computação, aumentando a latência por requisição. O tipo e o número de GPU determinam o throughput e se o modelo cabe na memória do acelerador; por exemplo, uma NVIDIA T4 possui 16 GB, enquanto uma A100 possui 40 GB ou 80 GB. A configuração de autoscaling define as contagens mínima e máxima de réplicas e métricas de escala, como a utilização de CPU ou requisições por segundo, afetando diretamente a latencia de inicialização a frio (cold-start) e a capacidade sob carga. O número de versões e instâncias do modelo estão relacionados, mas não são os principais direcionadores de latência; as versões afetam a divisão de tráfego e as instâncias são um resultado do autoscaling. Um cenário realista é uma aplicação de chat que exige respostas em menos de um segundo, onde a escolha de um modelo menor, uma GPU adequada e uma contagem mínima de réplicas evita o cold start.
Sobre estas questões de prática
Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.