DifficileChoix unique

Question d'entraînement AIF-C01

Exhibit

Refer to the exhibit.
```json
{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 500,
  "messages": [
    {
      "role": "user",
      "content": "What is the capital of France?"
    }
  ]
}
```

Un développeur envoie la requête ci-dessus à Amazon Bedrock avec Anthropic Claude. Le modèle renvoie une réponse qui s'arrête avant d'atteindre 500 tokens. Quelle est la raison la plus probable ?

Choisissez la meilleure réponse.

Bonne réponse

  • CLe modèle a atteint une séquence d'arrêt

Explication

Le modèle s'est arrêté avant d'atteindre 500 tokens car la requête incluait probablement une séquence d'arrêt (par exemple, `\n\nHuman:` ou un token d'arrêt personnalisé) qui correspondait à la sortie générée. Lorsqu'une séquence d'arrêt est rencontrée, Bedrock interrompt immédiatement la génération, même si la limite de tokens n'a pas été atteinte. C'est l'explication la plus directe pour un arrêt prématuré.

Pourquoi chaque option est juste ou fausse

A

Fausse

La température est réglée trop haut

La température contrôle le caractère aléatoire de l'échantillonnage et non la longueur de la sortie ; une valeur élevée fait varier la formulation mais ne déclenche jamais d'arrêt anticipé. C'est tentant car la température est le paramètre de réglage le plus familier et ce serait le levier approprié lorsque les réponses semblent répétitives ou nécessitent une variation créative.

B

Fausse

Le modèle n'est pas entraîné sur ce sujet

Une lacune de connaissances produit du contenu erroné ou nuancé, pas une réponse tronquée ; Claude génère tout de même jusqu'à la limite sur des sujets non familiers. C'est tentant car des données d'entraînement manquantes expliquent de mauvaises réponses, et ce serait correct si le modèle renvoyait des faits inexacts au lieu de s'arrêter prématurément.

C

Juste

Le modèle a atteint une séquence d'arrêt

Une séquence d'arrêt fournie dans la requête provoque l'arrêt immédiat de la génération dès que cette chaîne est produite, indépendamment du budget de tokens maximum restant. La réponse se termine donc bien avant 500 tokens, ce qui correspond à un comportement attendu plutôt qu'à un truncage ou à une limitation.

D

Fausse

La limite de tokens est dépassée

L'énoncé indique que la réponse s'est arrêtée avant 500 tokens, de sorte que la limite configurée n'a pas été atteinte ; la dépasser entraînerait un troncage au niveau du plafond, et non en dessous. C'est tentant car les limites de tokens provoquent fréquemment des coupures, et ce serait correct si la sortie s'arrêtait exactement à max_tokens.

Pour aller plus loin

Lors de l'invocation d'Anthropic Claude sur Amazon Bedrock, le corps de la requête peut inclure un tableau stop_sequences contenant jusqu'à quatre chaînes. Pendant le décodage autorégressif, le modèle échantillonne les tokens un par un ; après chaque token, le runtime vérifie si la sortie accumulée se termine par l'une des séquences d'arrêt fournies. En cas de correspondance, la génération s'arrête immédiatement et la réponse transporte un stop_reason de type "stop_sequence" plutôt que "max_tokens" ou "end_turn". De manière cruciale, la chaîne d'arrêt correspondante est exclue de la complétion renvoyée, de sorte que la sortie peut sembler tronquée de manière abrupte bien en deçà de max_tokens. Un cas réaliste : un pipeline RAG ajoute "\n\nHuman:" comme séquence d'arrêt pour empêcher le modèle de fabriquer d'autres tours de dialogue ; une réponse légitime qui contient par hasard cette chaîne littérale se termine prématurément, et l'application doit détecter stop_reason pour décider s'il faut réessayer ou effectuer un post-traitement.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AIF-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.