Resposta correta
- BUsar uma variante de modelo menor
Explicação
O uso de uma variante de modelo menor reduz diretamente o número de parâmetros e as operações computacionais necessárias por inferência, o que diminui a latência. No Vertex AI, modelos menores como `text-bison@002` possuem menos camadas e cabeças de atenção do que os equivalentes maiores, resultando em uma geração de tokens mais rápida sem exigir alterações de hardware.
Para se aprofundar
A latência de inferência no Vertex AI é dominada pelo tamanho do modelo, pela contagem de parâmetros e pelo processamento necessário por token, de modo que selecionar uma variante de modelo menor geralmente produz a maior redução de latência, pois menos parâmetros significam menos multiplicações de matriz por passagem direta (forward pass). A quantização reduz a precisão e pode diminuir a latência e a memória, mas seu benefício costuma ser menor do que migrar para uma arquitetura fundamentalmente menor e pode sacrificar a qualidade. Adicionar GPUs aumenta a taxa de transferência (throughput) e o paralelismo, mas não reduz necessariamente a latência de uma única requisição, e tamanhos de lote (batch size) maiores melhoram a taxa de transferência ao custo da latência por requisição. Um cenário realista: um chatbot que atende usuários interativos precisa de respostas em menos de um segundo; mudar de um modelo grande de uso geral para uma variante destilada menor mantém as respostas rápidas enquanto continua adequado para a tarefa, ao passo que escalar GPUs só ajudaria sob alta carga concorrente.
Sobre estas questões de prática
Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.