Bonne réponse
Explication
Le paramètre `max_tokens` contrôle le nombre maximal de tokens (mots ou sous-mots) que le modèle peut générer en une seule réponse. En définissant une valeur de `max_tokens` plus faible, le développeur limite la longueur du code Python généré, empêchant des fonctions excessivement longues et complexes. Cela répond directement à l'exigence de limiter la longueur de la sortie.
Pour aller plus loin
max_tokens limite le nombre de tokens que le modèle peut générer dans la complétion, limitant directement la longueur de la sortie; cela n'affecte pas le prompt. Dans Azure OpenAI, la valeur doit laisser de l'espace dans la fenêtre de contexte du modèle pour les tokens d'entrée, sinon l'appel génère une erreur. Temperature et top_p contrôlent le caractère aléatoire, tandis que frequency_penalty décourage la répétition, de sorte qu'aucun d'eux ne borne la longueur. Une subtilité: max_tokens compte des tokens, pas des caractères ou des lignes, donc une valeur telle que 256 peut tout de même produire une longue fonction selon la tokenisation. Cela importe lors de l'application de restrictions de taille de réponse pour le contrôle des coûts, la latence ou les contraintes de l'UI, et lorsque la troncature pourrait couper du code au milieu d'une instruction.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.