MédiaVárias respostas

Questão de prática de AI-102

Quais são as DUAS ações que você pode tomar para reduzir o custo de uso do Azure OpenAI Service para um aplicativo de chat?

Escolha todas as respostas corretas.

Respostas corretas

  • CDefinir o parâmetro max_tokens para um valor menor.
  • EUsar um modelo menor como o GPT-3.5 em vez do GPT-4.

Explicação

A redução do parâmetro max_tokens limita diretamente o número de tokens gerados por chamada de API, o que diminui o custo, já que o Azure OpenAI Service cobra por token (tanto de entrada quanto de saída). Ao limitar o comprimento da resposta, você evita pagar por conclusões desnecessariamente longas.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar a penalidade de frequência.

A penalidade de frequência não reduz o custo.

B

Incorreta

Habilitar a filtragem de conteúdo.

A filtragem de conteúdo não afeta o custo.

C

Correta

Definir o parâmetro max_tokens para um valor menor.

Reduz a contagem de tokens por resposta.

D

Incorreta

Aumentar o parâmetro max_tokens para permitir respostas mais longas.

Aumenta o uso de tokens.

E

Correta

Usar um modelo menor como o GPT-3.5 em vez do GPT-4.

Modelos menores são mais baratos.

Para se aprofundar

O Azure OpenAI cobra por token de entrada e saída, portanto, a redução de custos concentra-se no volume de tokens e na escolha do modelo. Reduzir o parâmetro max_tokens limita o comprimento da conclusão e, portanto, as cobranças de saída, enquanto selecionar um modelo menor como o GPT-3.5-Turbo em vez do GPT-4 reduz substancialmente a taxa por token. Temperatura, top_p e penalidade de frequência apenas alteram a amostragem e não mudam a cobrança, e a filtragem de conteúdo é um recurso de segurança em vez de uma alavanca de custo. Uma sutileza é que os tokens do prompt também contam, então cortar as mensagens do sistema e o histórico de conversas importa tanto quanto limitar as conclusões. Isso é relevante quando um aplicativo de chat com longos históricos é dimensionado para muitos usuários e o gasto com tokens se torna o custo operacional dominante.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.