DifficileChoix unique

Question d'entraînement AI-900

Un développeur utilise Azure OpenAI pour générer des extraits de code Python. Il souhaite empêcher le modèle de produire des fonctions trop longues et complexes en définissant une longueur maximale pour la sortie générée. Quel paramètre le développeur doit-il configurer dans l'appel API?

Choisissez la meilleure réponse.

Bonne réponse

  • Cmax_tokens

Explication

Le paramètre `max_tokens` contrôle le nombre maximal de tokens (mots ou sous-mots) que le modèle peut générer en une seule réponse. En définissant une valeur de `max_tokens` plus faible, le développeur limite la longueur du code Python généré, empêchant des fonctions excessivement longues et complexes. Cela répond directement à l'exigence de limiter la longueur de la sortie.

Pourquoi chaque option est juste ou fausse

A

Fausse

temperature

temperature redimensionne la distribution de probabilité, modifiant le caractère aléatoire plutôt que le nombre de tokens émis, de sorte qu'une valeur basse permet toujours de longues fonctions. C'est tentant car une température plus basse donne un texte plus prévisible, ce qui convient à la génération de code déterministe, mais l'énoncé exige max_tokens, qui applique la limite de longueur de sortie.

B

Fausse

top_p

top_p restreint l'échantillonnage à une masse de probabilité cumulative, modifiant les tokens pris en compte plutôt que le nombre produit, de sorte que la longueur de la sortie reste illimitée. C'est tentant car restreindre le pool de tokens semble contraindre les réponses, ce qui convient pour contrôler la diversité, mais l'énoncé exige max_tokens pour plafonner la longueur générée.

C

Juste

max_tokens

max_tokens plafonne le nombre de tokens que le modèle génère dans sa complétion, limitant directement la longueur de la sortie. Sa configuration évite des fonctions excessivement longues et complexes, satisfaisant l'exigence du développeur d'une longueur de sortie générée maximale dans l'appel API Azure OpenAI.

D

Fausse

frequency_penalty

frequency_penalty décourage les tokens répétés, de sorte qu'il freine les phrases en boucle mais ne peut pas plafonner la longueur de la sortie; une fonction verbeuse se génère toujours jusqu'à ce qu'elle s'arrête naturellement. C'est tentant car pénaliser la répétition semble raccourcir le texte, ce qui convient pour réduire la reproduction textuelle, mais l'énoncé exige max_tokens, qui tronque la génération à un nombre fixe de tokens.

Pour aller plus loin

max_tokens limite le nombre de tokens que le modèle peut générer dans la complétion, limitant directement la longueur de la sortie; cela n'affecte pas le prompt. Dans Azure OpenAI, la valeur doit laisser de l'espace dans la fenêtre de contexte du modèle pour les tokens d'entrée, sinon l'appel génère une erreur. Temperature et top_p contrôlent le caractère aléatoire, tandis que frequency_penalty décourage la répétition, de sorte qu'aucun d'eux ne borne la longueur. Une subtilité: max_tokens compte des tokens, pas des caractères ou des lignes, donc une valeur telle que 256 peut tout de même produire une longue fonction selon la tokenisation. Cela importe lors de l'application de restrictions de taille de réponse pour le contrôle des coûts, la latence ou les contraintes de l'UI, et lorsque la troncature pourrait couper du code au milieu d'une instruction.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.