Bonne réponse
Explication
Vertex AI Prediction est le bon choix car il s'agit d'un service entièrement géré conçu spécifiquement pour déployer des modèles de ML entraînés pour la prédiction en ligne (en temps réel) avec une faible latence. Il prend en charge l'importation d'artefacts TensorFlow SavedModel et met à l'échelle automatiquement l'infrastructure de service, y compris la prise en charge des GPU/TPU, pour gérer le trafic des requêtes tout en offrant des fonctionnalités intégrées de surveillance et d'explicabilité.
Pour aller plus loin
Vertex AI Prediction héberge des modèles entraînés sur des points de terminaison gérés qui s'auto-mettent à l'échelle et exposent une interface REST ou gRPC pour l'inférence en ligne à faible latence. Un SavedModel TensorFlow est téléchargé vers une ressource Model, déployé sur un Endpoint avec un type de machine et un accélérateur optionnel, et le trafic est réparti entre les versions de modèle déployées pour les déploiements canary. Un comportement subtil : les nœuds de prédiction encourent des coûts lorsqu'ils sont déployés même avec un trafic nul, et les démarrages à froid sont évidés car le modèle reste résident ; la prédiction par lots, en revanche, est asynchrone et moins coûteuse pour les grands travaux hors ligne. Dans un scénario réaliste, une équipe de détection des fraudes a besoin d'un score inférieur à 100 ms par transaction, ils déployent donc le SavedModel sur un Endpoint Vertex AI avec un nœud pris en charge par GPU et configurent l'auto-mise à l'échelle entre une et dix réplicas, maintenant une latence prévisible pendant les périodes d'achat de pointe.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.