Bonne réponse
- BUtiliser une variante de modèle plus petite
Explication
Utiliser une variante de modèle plus petite réduit directement le nombre de paramètres et d'opérations de calcul requis par inférence, ce qui diminue la latence. Dans Vertex AI, les modèles plus petits comme `text-bison@002` possèdent moins de couches et de têtes d'attention que leurs homologues plus grands, ce qui entraîne une génération de jetons plus rapide sans nécessiter de modifications matérielles.
Pour aller plus loin
La latence d'inférence sur Vertex AI est dominée par la taille du modèle, le nombre de paramètres et les calculs requis par jeton. Par conséquent, la sélection d'une variante de modèle plus petite produit généralement la réduction de latence la plus importante, car moins de paramètres signifient moins de multiplications matricielles par passage direct (forward pass). La quantification réduit la précision et peut abaisser la latence et la mémoire, mais son bénéfice est généralement inférieur au passage à une architecture fondamentalement plus petite et peut compromettre la qualité. L'ajout de GPU augmente le débit et le parallélisme mais ne réduit pas nécessairement la latence d'une requête unique, et les tailles de batch plus grandes améliorent le débit au détriment de la latence par requête. Scénario réaliste : un chatbot servant des utilisateurs interactifs a besoin de réponses en moins d'une seconde ; basculer d'un grand modèle généraliste vers une variante plus petite et distillée maintient des réponses rapides tout en restant adéquate pour la tâche, tandis que l'augmentation des GPU n'aiderait qu'en cas de charge concurrente élevée.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.