FacileChoix unique

Question d'entraînement Generative AI Leader

Une entreprise utilise Vertex AI pour déployer un modèle de génération de texte pour un chatbot. Elle souhaite réduire la latence de réponse. Quel changement de configuration est le plus efficace ?

Choisissez la meilleure réponse.

Bonne réponse

  • BUtiliser une variante de modèle plus petite

Explication

Utiliser une variante de modèle plus petite réduit directement le nombre de paramètres et d'opérations de calcul requis par inférence, ce qui diminue la latence. Dans Vertex AI, les modèles plus petits comme `text-bison@002` possèdent moins de couches et de têtes d'attention que leurs homologues plus grands, ce qui entraîne une génération de jetons plus rapide sans nécessiter de modifications matérielles.

Pourquoi chaque option est juste ou fausse

A

Fausse

Activer la quantification du modèle

La quantification réduit l'empreinte mémoire et peut accélérer l'inférence sur le matériel pris en charge, mais son gain de latence est modeste et dépend du modèle. Elle est choisie lorsque les coûts de service ou la mémoire du GPU sont limités, et non lorsque la latence brute par jeton est l'objectif principal.

B

Juste

Utiliser une variante de modèle plus petite

Une variante de modèle plus petite réduit le nombre de paramètres traités par jeton, ce qui réduit le calcul d'inférence et par conséquent la latence de réponse. Cela satisfait directement la contrainte de l'énoncé concernant la réduction de la latence pour le chatbot Vertex AI, puisque le temps de génération évolue avec la taille du modèle plutôt qu'avec le formatage du prompt ou la région du point de terminaison.

C

Fausse

Augmenter le nombre de GPU

L'ajout de GPU augmente le débit parallèle pour les requêtes concurrentes, et non la latence d'une seule génération, qui est limitée par le décodage séquentiel des jetons. C'est tentant car la mise à l'échelle horizontale est le remède standard pour les services surchargés, et ce serait correct lorsque le chatbot doit servir de nombreux utilisateurs simultanés.

D

Fausse

Utiliser une taille de batch plus grande

Des batchs plus grands augmentent le débit, pas la latence par requête ; ils retardent en fait les réponses individuelles en attendant de remplir le batch. Le traitement par lots (batching) convient à l'inférence globale hors ligne où le débit total importe, mais un chatbot en temps réel a besoin d'une latence par requête unique, ce que le streaming ou un modèle plus petit résout.

Pour aller plus loin

La latence d'inférence sur Vertex AI est dominée par la taille du modèle, le nombre de paramètres et les calculs requis par jeton. Par conséquent, la sélection d'une variante de modèle plus petite produit généralement la réduction de latence la plus importante, car moins de paramètres signifient moins de multiplications matricielles par passage direct (forward pass). La quantification réduit la précision et peut abaisser la latence et la mémoire, mais son bénéfice est généralement inférieur au passage à une architecture fondamentalement plus petite et peut compromettre la qualité. L'ajout de GPU augmente le débit et le parallélisme mais ne réduit pas nécessairement la latence d'une requête unique, et les tailles de batch plus grandes améliorent le débit au détriment de la latence par requête. Scénario réaliste : un chatbot servant des utilisateurs interactifs a besoin de réponses en moins d'une seconde ; basculer d'un grand modèle généraliste vers une variante plus petite et distillée maintient des réponses rapides tout en restant adéquate pour la tâche, tandis que l'augmentation des GPU n'aiderait qu'en cas de charge concurrente élevée.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.