Bonnes réponses
- CDéfinir le paramètre max_tokens sur une valeur inférieure.
- EUtiliser un modèle plus petit comme GPT-3.5 au lieu de GPT-4.
Explication
La réduction du paramètre max_tokens limite directement le nombre de tokens générés par appel d'API, ce qui réduit le coût puisque Azure OpenAI Service facture par token (à la fois en entrée et en sortie). En plafonnant la longueur de la réponse, vous évitez de payer pour des compléments inutilement longs.
Pour aller plus loin
Azure OpenAI facture par token d'entrée et de sortie, de sorte que la réduction des coûts se concentre sur le volume de tokens et le choix du modèle. Abaisser max_tokens plafonne la longueur de la complétion et donc les frais de sortie, tandis que la sélection d'un modèle plus petit tel que GPT-3.5-Turbo au lieu de GPT-4 réduit considérablement le tarif par token. La température, top_p et la pénalité de fréquence modifient uniquement l'échantillonnage et ne modifient pas la facturation, et le filtrage de contenu est une fonction de sécurité plutôt qu'un levier de coût. Une subtilité est que les tokens du prompt comptent également, de sorte que la réduction des messages système et de l'historique des conversations compte autant que le plafonnage des complétions. Ceci est pertinent lorsqu'une application de chat avec de longs historiques s'étend à de nombreux utilisateurs et que la dépense en tokens devient le coût d'exploitation dominant.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AI-102 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.