FácilMúltipla escolha

Questão de prática de Generative AI Leader

Uma empresa está usando o Vertex AI para implantar um modelo de geração de texto para um chatbot. Eles desejam reduzir a latência de resposta. Qual alteração de configuração é mais efetiva?

Escolha a melhor resposta.

Resposta correta

  • BUsar uma variante de modelo menor

Explicação

O uso de uma variante de modelo menor reduz diretamente o número de parâmetros e as operações computacionais necessárias por inferência, o que diminui a latência. No Vertex AI, modelos menores como `text-bison@002` possuem menos camadas e cabeças de atenção do que os equivalentes maiores, resultando em uma geração de tokens mais rápida sem exigir alterações de hardware.

Por que cada alternativa está certa ou errada

A

Incorreta

Habilitar a quantização do modelo

A quantização reduz o espaço ocupado na memória e pode acelerar a inferência em hardware compatível, mas o ganho de latência é modesto e depende do modelo. É escolhida quando os custos de atendimento ou a memória da GPU são limitados, e não quando a latência bruta por token é o objetivo principal.

B

Correta

Usar uma variante de modelo menor

Uma variante de modelo menor reduz o número de parâmetros processados por token, diminuindo o processamento de inferência e, portanto, a latência de resposta. Isso atende diretamente à restrição do enunciado de reduzir a latência para o chatbot do Vertex AI, uma vez que o tempo de geração escala com o tamanho do modelo e não com a formatação do prompt ou a região do endpoint.

C

Incorreta

Aumentar o número de GPUs

Adicionar GPUs aumenta a capacidade de processamento paralelo para requisições concorrentes, e não a latência de uma única geração, que é limitada pela decodificação sequencial de tokens. É tentador porque o dimensionamento horizontal é o remédio padrão para serviços sobrecarregados, e seria correto quando o chatbot precisa atender a muitos usuários simultâneos.

D

Incorreta

Usar um tamanho de lote maior

Lotes maiores elevam a taxa de transferência, e não a latência por requisição; eles na verdade atrasam respostas individuais ao aguardar o preenchimento do lote. O processamento em lotes é adequado para inferência em massa off-line onde o throughput total importa, mas um chatbot em tempo real precisa de latência de requisição única, o que o streaming ou um modelo menor resolve.

Para se aprofundar

A latência de inferência no Vertex AI é dominada pelo tamanho do modelo, pela contagem de parâmetros e pelo processamento necessário por token, de modo que selecionar uma variante de modelo menor geralmente produz a maior redução de latência, pois menos parâmetros significam menos multiplicações de matriz por passagem direta (forward pass). A quantização reduz a precisão e pode diminuir a latência e a memória, mas seu benefício costuma ser menor do que migrar para uma arquitetura fundamentalmente menor e pode sacrificar a qualidade. Adicionar GPUs aumenta a taxa de transferência (throughput) e o paralelismo, mas não reduz necessariamente a latência de uma única requisição, e tamanhos de lote (batch size) maiores melhoram a taxa de transferência ao custo da latência por requisição. Um cenário realista: um chatbot que atende usuários interativos precisa de respostas em menos de um segundo; mudar de um modelo grande de uso geral para uma variante destilada menor mantém as respostas rápidas enquanto continua adequado para a tarefa, ao passo que escalar GPUs só ajudaria sob alta carga concorrente.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.