FacileChoix multiples

Question d'entraînement PDE

Quelles sont les DEUX actions qui peuvent aider à réduire la latence de prédiction d'un endpoint Vertex AI ?

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • BOptimiser l'architecture du modèle pour réduire la taille
  • CUtiliser un conteneur de prédiction personnalisé avec des dépendances optimisées

Explication

Optimiser l'architecture du modèle pour réduire sa taille diminue directement la charge de calcul lors de l'inférence, ce qui réduit la latence de prédiction. Les modèles plus petits nécessitent moins d'opérations en virgule flottante (FLOPs) par prédiction, permettant des temps de réponse plus rapides sur les endpoints Vertex AI.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter le nombre de features

Plus de features augmentent les calculs.

B

Juste

Optimiser l'architecture du modèle pour réduire la taille

Les modèles plus petits prédisent plus rapidement.

C

Juste

Utiliser un conteneur de prédiction personnalisé avec des dépendances optimisées

Réduit la surcharge.

D

Fausse

Utiliser un type de machine plus grand avec plus de vCPUs

Ne traite pas directement la latence ; peut aider mais ce n'est pas le meilleur choix.

E

Fausse

Définir les réplicas minimaux à 0 pour économiser des coûts

Les démarrages à froid augmentent la latence.

Pour aller plus loin

La latence d'un endpoint Vertex AI est dominée par les calculs du modèle, le démarrage du conteneur et la surcharge de gestion des requêtes. Réduire la taille du modèle par l'optimisation de l'architecture, la quantification ou l'élagage diminue le travail arithmétique par inférence. Un conteneur de prédiction personnalisé avec des dépendances épurées raccourcit le temps de téléchargement et d'importation de l'image et évite le chargement de bibliothèques inutilisées. Une subtilité réside dans le fait que définir les réplicas minimaux à zéro introduit des démarrages à froid ; cela permet donc de faire des économies mais augmente la latence de queue, et l'ajout de vCPUs n'aide que si le modèle est limité par le CPU et parallélisable. Dans un service de notation en temps réel avec des objectifs de p99 stricts, l'optimisation du modèle et du conteneur produit généralement des gains plus prévisibles que le simple dimensionnement du matériel, car le goulot d'étranglement est souvent un prétraitement sérialisé ou des poids surdimensionnés.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.