Bonne réponse
- CConfigurer l'endpoint avec une répartition du trafic : 95 % pour l'ancienne version, 5 % pour la nouvelle version.
Explication
Les endpoints Vertex AI prennent en charge nativement la répartition du trafic (traffic splitting), vous permettant d'acheminer un pourcentage spécifié de requêtes vers différentes versions de modèles déployées sur le même endpoint. En configurant une répartition du trafic de 95 % pour l'ancienne version et de 5 % pour la nouvelle, vous pouvez effectuer des tests canary sans infrastructure supplémentaire ni logique côté client. C'est l'approche correcte et la plus simple au sein de Vertex AI.
Pour aller plus loin
Les endpoints Vertex AI prennent en charge le déploiement de plusieurs ressources Model sur un seul endpoint, chacune avec son propre ID de modèle déployé, et la répartition du trafic est configurée en spécifiant une table trafficSplit associant l'ID du modèle au pourcentage, dont la somme doit être égale à 100. Cela vous permet d'envoyer 95 % au modèle stable et 5 % au modèle canary sans modification du client, et vous pouvez modifier les pourcentages progressivement ou revenir en arrière instantanément en mettant à jour la répartition. Une subtilité : la répartition est appliquée par requête de prédiction au niveau de l'endpoint, et la journalisation ou la surveillance des prédictions peuvent être activées par modèle déployé pour comparer la latence et les taux d'erreur. La sélection aléatoire côté client ou un équilibreur de charge externe ajoute de la complexité et contourne les métriques intégrées de Vertex AI, c'est pourquoi la répartition native du trafic est préférée pour les tests canary.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.