DifficileChoix multiples

Question d'entraînement Generative AI Leader

Quelles sont les TROIS considérations critiques lors du déploiement d'un modèle d'IA générative utilisant Vertex AI Endpoints pour une application sensible à la latence ? (Choisissez-en TROIS.)

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • ATaille et architecture du modèle
  • CType et nombre de GPU
  • DConfiguration de la mise à l'échelle automatique

Explication

La taille et l'architecture du modèle ont un impact direct sur la latence d'inférence, car les modèles plus grands dotés de plus de paramètres nécessitent davantage de calculs par requête. Pour les applications sensibles à la latence, choisir un modèle plus petit ou distillé (par exemple, Gemma 2B par rapport à 27B) ou utiliser la quantification peut réduire les temps de réponse. Vertex AI Endpoints sert le modèle tel quel, de sorte que le coût de calcul inhérent au modèle est le principal facteur de latence par requête.

Pourquoi chaque option est juste ou fausse

A

Juste

Taille et architecture du modèle

Les modèles plus grands entraînent une latence plus élevée.

B

Fausse

Nombre de versions du modèle

Le versionnement du modèle n'affecte pas directement la latence.

C

Juste

Type et nombre de GPU

La sélection du GPU a un impact sur la vitesse d'inférence.

D

Juste

Configuration de la mise à l'échelle automatique

Une mise à l'échelle automatique appropriée garantit une faible latence sous une charge variable.

E

Fausse

Nombre d'instances de modèle

Bien qu'important, la mise à l'échelle automatique gère dynamiquement le nombre d'instances.

Pour aller plus loin

Vertex AI Endpoints sert des modèles sur des ressources de calcul dont la latence dépend de la taille et de l'architecture du modèle, du type et du nombre d'accélérateurs, ainsi que du comportement de mise à l'échelle automatique (autoscaling). Les modèles plus grands ou les architectures comportant de nombreux paramètres nécessitent plus de mémoire et de puissance de calcul, ce qui augmente la latence par requête. Le type et le nombre de GPU déterminent le débit et la capacité du modèle à tenir dans la mémoire de l'accélérateur ; par exemple, un NVIDIA T4 dispose de 16 Go, tandis qu'un A100 dispose de 40 Go ou 80 Go. La configuration de la mise à l'échelle automatique définit les nombres de réplicas minimaux et maximaux ainsi que les métriques de mise à l'échelle telles que l'utilisation du CPU ou les requêtes par seconde, ce qui affecte directement la latence de démarrage à froid (cold-start) et la capacité sous charge. Le nombre de versions du modèle et d'instances sont liés mais ne constituent pas les principaux facteurs de latence ; les versions affectent la répartition du trafic, et les instances sont le résultat de la mise à l'échelle automatique. Un scénario réaliste est une application de chat nécessitant des réponses en moins d'une seconde, où le choix d'un modèle plus petit, d'un GPU approprié et d'un nombre minimal de réplicas évite les démarrages à froid.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.