Bonne réponse
- BUne instance nommée d'un modèle d'IA avec un quota alloué, permettant le contrôle de version et la gestion des quotas
Explication
Le déploiement de modèles dans Azure OpenAI crée une instance nommée d'un modèle spécifique (par exemple, GPT-4) avec un quota dédié (jetons par minute, limites de taux). Les déploiements nommés permettent le contrôle de version en se fixant sur une version de modèle spécifique (par exemple, 0613 par rapport à 1106) et permettent une gestion de quota distincte par déploiement, ce qui est essentiel pour les charges de travail de production. Ceci est distinct du simple appel d'un point de terminaison d'API ; il provisionne un point de terminaison d'inférence dédié avec une capacité garantie.
Pour aller plus loin
Dans Azure OpenAI, un déploiement est une instance nommée d'un modèle de base, tel que gpt-35-turbo ou text-embedding-ada-002, que vous créez au sein d'une ressource Azure OpenAI. Le nom du déploiement devient la valeur passée dans le paramètre de modèle des appels d'API, permettant à plusieurs applications de référencer différentes versions ou configurations sans modifier le code. Chaque déploiement dispose d'un quota alloué, mesuré en jetons par minute ou en requêtes par minute, qui régit le débit et le coût. Cette abstraction de nommage prend en charge le contrôle de version, car vous pouvez déployer une nouvelle version de modèle sous un nouveau nom et basculer le trafic progressivement. Dans un scénario réaliste, une équipe déploie gpt-4 sous le nom prod-gpt4 et gpt-4-32k sous prod-gpt4-32k, permettant des tests A/B et l'isolation des quotas.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.