Bonne réponse
- CLe modèle a atteint une séquence d'arrêt
Explication
Le modèle s'est arrêté avant d'atteindre 500 tokens car la requête incluait probablement une séquence d'arrêt (par exemple, `\n\nHuman:` ou un token d'arrêt personnalisé) qui correspondait à la sortie générée. Lorsqu'une séquence d'arrêt est rencontrée, Bedrock interrompt immédiatement la génération, même si la limite de tokens n'a pas été atteinte. C'est l'explication la plus directe pour un arrêt prématuré.
Pour aller plus loin
Lors de l'invocation d'Anthropic Claude sur Amazon Bedrock, le corps de la requête peut inclure un tableau stop_sequences contenant jusqu'à quatre chaînes. Pendant le décodage autorégressif, le modèle échantillonne les tokens un par un ; après chaque token, le runtime vérifie si la sortie accumulée se termine par l'une des séquences d'arrêt fournies. En cas de correspondance, la génération s'arrête immédiatement et la réponse transporte un stop_reason de type "stop_sequence" plutôt que "max_tokens" ou "end_turn". De manière cruciale, la chaîne d'arrêt correspondante est exclue de la complétion renvoyée, de sorte que la sortie peut sembler tronquée de manière abrupte bien en deçà de max_tokens. Un cas réaliste : un pipeline RAG ajoute "\n\nHuman:" comme séquence d'arrêt pour empêcher le modèle de fabriquer d'autres tours de dialogue ; une réponse légitime qui contient par hasard cette chaîne littérale se termine prématurément, et l'application doit détecter stop_reason pour décider s'il faut réessayer ou effectuer un post-traitement.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AIF-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.