FácilVárias respostas

Questão de prática de Generative AI Leader

Uma empresa está usando modelos generativos do Vertex AI para um serviço de sumarização de texto de alto volume. Quais duas estratégias podem reduzir os custos operacionais?

Escolha todas as respostas corretas.

Respostas corretas

  • DUsar predição em lote em vez de predição online.
  • EReduzir o tamanho do modelo (por exemplo, alternar de text-bison@002 para text-bison-light).

Explicação

A predição em lote reduz os custos ao processar várias solicitações em um único trabalho em lote, o que evita a sobrecarga por solicitação e o tempo de computação ocioso associados à predição online. Isso é especialmente econômico para cargas de trabalho de alto volume e que não são em tempo real, como a sumarização de texto, pois você paga apenas pelo tempo de computação usado durante o trabalho em lote, em vez de pagar por cada inferência individual.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o limite máximo de tokens de saída do modelo para 2048.

O aumento dos tokens de saída eleva o custo por solicitação.

B

Incorreta

Implementar lógica de repetição com backoff exponencial.

As tentativas adicionais aumentam o número de solicitações, elevando os custos.

C

Incorreta

Diminuir o parâmetro de temperatura para 0.

A temperatura não afeta o custo; ela apenas altera a aleatoriedade da saída.

D

Correta

Usar predição em lote em vez de predição online.

A predição em lote tem um custo menor por solicitação para grandes trabalhos em comparação com a predição online.

E

Correta

Reduzir o tamanho do modelo (por exemplo, alternar de text-bison@002 para text-bison-light).

Modelos menores têm um custo menor por token, reduzindo os custos operacionais.

Para se aprofundar

A predição em lote processa muitas entradas em um único trabalho assíncrono, permitindo que o Vertex AI provisione e libere recursos de computação para todo o lote em vez de manter um endpoint ativo, o que é substancialmente mais barato por predição do que as solicitações online. Escolher uma variante de modelo menor ou mais leve, como um ponto de verificação text-bison mais leve, reduz o custo de computação e de tokens por chamada porque menos parâmetros são avaliados. A lógica de repetição e a temperatura não alteram o preço subjacente, e o aumento do máximo de tokens de saída aumenta o custo, já que a cobrança geralmente se baseia em tokens. Uma sutileza é que os trabalhos em lote têm maior latência e exigem entradas preparadas no Cloud Storage ou BigQuery, portanto, eles se adequam a pipelines de sumarização offline em vez de uso interativo. Na prática, uma carga de trabalho de sumarização noturna transferida do modo online para o em lote pode cortar os gastos drasticamente, mantendo o cumprimento dos SLAs.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.