Bonne réponse
- BChanger le type de machine pour n1-highcpu-16 avec un accélérateur GPU.
Explication
Changer le type de machine pour n1-highcpu-16 avec un accélérateur GPU fournit des ressources de calcul significativement plus importantes pour le modèle TensorFlow personnalisé. Le type n1-highcpu-16 offre 16 vCPU (contre 2 pour n1-standard-2), ce qui réduit le temps d'inférence lié au processeur, et l'ajout d'un GPU accélère les opérations matricielles courantes dans les modèles TensorFlow, réduisant directement la latence par requête. L'option A est fausse car l'augmentation de max_replica_count permet davantage de requêtes parallèles mais n'améliore pas le temps de traitement d'une seule requête. L'option C est fausse car la définition de min_replica_count garantit une capacité toujours active pour éviter les démarrages à froid, mais ne réduit pas la latence en régime permanent. L'option D est fausse car l'augmentation de la taille des lots dans la requête de prédiction augmente le débit en traitant plusieurs entrées ensemble, mais ne réduit pas la latence pour une seule prédiction — cela peut en fait augmenter le temps de retour d'un résultat pour une requête donnée.
Pour aller plus loin
La latence des prédictions en ligne sur Vertex AI dépend fortement du type de machine, de la disponibilité du processeur/GPU et de l'efficacité du graphe du modèle. Le type n1-standard-2 ne propose que 2 vCPU et 7,5 Go de RAM, ce qui est souvent insuffisant pour l'inférence TensorFlow qui implique de grandes opérations matricielles. Passer à n1-highcpu-16 fournit 16 vCPU avec un ratio processeur/mémoire plus élevé, et l'attachement d'un accélérateur GPU délègue les calculs de tenseurs, réduisant considérablement la latence par requête. Un comportement subtil est que l'accélération GPU n'aide que si le modèle et la version de TensorFlow prennent en charge CUDA ; sinon, le GPU reste inactif. En pratique, un modèle fonctionnant sur processeur qui génère des prédictions de 500 ms sous faible trafic est un signe classique de ressources de calcul sous-dimensionnées, et le dimensionnement des réplicas ou le traitement par lots ne réduit pas la latence d'une requête unique.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.