Respostas corretas
- CDefinir o parâmetro max_tokens para um valor menor.
- EUsar um modelo menor como o GPT-3.5 em vez do GPT-4.
Explicação
A redução do parâmetro max_tokens limita diretamente o número de tokens gerados por chamada de API, o que diminui o custo, já que o Azure OpenAI Service cobra por token (tanto de entrada quanto de saída). Ao limitar o comprimento da resposta, você evita pagar por conclusões desnecessariamente longas.
Para se aprofundar
O Azure OpenAI cobra por token de entrada e saída, portanto, a redução de custos concentra-se no volume de tokens e na escolha do modelo. Reduzir o parâmetro max_tokens limita o comprimento da conclusão e, portanto, as cobranças de saída, enquanto selecionar um modelo menor como o GPT-3.5-Turbo em vez do GPT-4 reduz substancialmente a taxa por token. Temperatura, top_p e penalidade de frequência apenas alteram a amostragem e não mudam a cobrança, e a filtragem de conteúdo é um recurso de segurança em vez de uma alavanca de custo. Uma sutileza é que os tokens do prompt também contam, então cortar as mensagens do sistema e o histórico de conversas importa tanto quanto limitar as conclusões. Isso é relevante quando um aplicativo de chat com longos históricos é dimensionado para muitos usuários e o gasto com tokens se torna o custo operacional dominante.
Sobre estas questões de prática
Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.