Bonnes réponses
- ATaille et architecture du modèle
- CType et nombre de GPU
- DConfiguration de la mise à l'échelle automatique
Explication
La taille et l'architecture du modèle ont un impact direct sur la latence d'inférence, car les modèles plus grands dotés de plus de paramètres nécessitent davantage de calculs par requête. Pour les applications sensibles à la latence, choisir un modèle plus petit ou distillé (par exemple, Gemma 2B par rapport à 27B) ou utiliser la quantification peut réduire les temps de réponse. Vertex AI Endpoints sert le modèle tel quel, de sorte que le coût de calcul inhérent au modèle est le principal facteur de latence par requête.
Pour aller plus loin
Vertex AI Endpoints sert des modèles sur des ressources de calcul dont la latence dépend de la taille et de l'architecture du modèle, du type et du nombre d'accélérateurs, ainsi que du comportement de mise à l'échelle automatique (autoscaling). Les modèles plus grands ou les architectures comportant de nombreux paramètres nécessitent plus de mémoire et de puissance de calcul, ce qui augmente la latence par requête. Le type et le nombre de GPU déterminent le débit et la capacité du modèle à tenir dans la mémoire de l'accélérateur ; par exemple, un NVIDIA T4 dispose de 16 Go, tandis qu'un A100 dispose de 40 Go ou 80 Go. La configuration de la mise à l'échelle automatique définit les nombres de réplicas minimaux et maximaux ainsi que les métriques de mise à l'échelle telles que l'utilisation du CPU ou les requêtes par seconde, ce qui affecte directement la latence de démarrage à froid (cold-start) et la capacité sous charge. Le nombre de versions du modèle et d'instances sont liés mais ne constituent pas les principaux facteurs de latence ; les versions affectent la répartition du trafic, et les instances sont le résultat de la mise à l'échelle automatique. Un scénario réaliste est une application de chat nécessitant des réponses en moins d'une seconde, où le choix d'un modèle plus petit, d'un GPU approprié et d'un nombre minimal de réplicas évite les démarrages à froid.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.