Respostas corretas
- DUsar predição em lote em vez de predição online.
- EReduzir o tamanho do modelo (por exemplo, alternar de text-bison@002 para text-bison-light).
Explicação
A predição em lote reduz os custos ao processar várias solicitações em um único trabalho em lote, o que evita a sobrecarga por solicitação e o tempo de computação ocioso associados à predição online. Isso é especialmente econômico para cargas de trabalho de alto volume e que não são em tempo real, como a sumarização de texto, pois você paga apenas pelo tempo de computação usado durante o trabalho em lote, em vez de pagar por cada inferência individual.
Para se aprofundar
A predição em lote processa muitas entradas em um único trabalho assíncrono, permitindo que o Vertex AI provisione e libere recursos de computação para todo o lote em vez de manter um endpoint ativo, o que é substancialmente mais barato por predição do que as solicitações online. Escolher uma variante de modelo menor ou mais leve, como um ponto de verificação text-bison mais leve, reduz o custo de computação e de tokens por chamada porque menos parâmetros são avaliados. A lógica de repetição e a temperatura não alteram o preço subjacente, e o aumento do máximo de tokens de saída aumenta o custo, já que a cobrança geralmente se baseia em tokens. Uma sutileza é que os trabalhos em lote têm maior latência e exigem entradas preparadas no Cloud Storage ou BigQuery, portanto, eles se adequam a pipelines de sumarização offline em vez de uso interativo. Na prática, uma carga de trabalho de sumarização noturna transferida do modo online para o em lote pode cortar os gastos drasticamente, mantendo o cumprimento dos SLAs.
Sobre estas questões de prática
Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.