Bonne réponse
- BEndpoint traffic splitting
Explication
La division du trafic des points de terminaison (Endpoint traffic splitting) de Vertex AI vous permet de router un pourcentage spécifié de requêtes d'inférence vers différentes versions de modèles déployées sur le même point de terminaison. Cela permet un déploiement progressif en dirigeant une petite fraction du trafic (par exemple, 5 %) vers le nouveau modèle tandis que le reste va vers la version actuelle, sans avoir besoin de points de terminaison séparés ou d'une logique de routage manuelle.
Pour aller plus loin
Les points de terminaison Vertex AI prennent en charge la division du trafic en attribuant des pondérations en pourcentage à plusieurs entrées DeployedModel derrière une seule ressource de point de terminaison. Vous déployez la nouvelle version du modèle aux côtés de l'existante et dérivez, disons, 5 pour cent des requêtes de prédiction vers celle-ci, puis ajustez les pondérations ou promouvez à 100 pour cent une fois que les métriques semblent bonnes. La division se produit au niveau de la couche de point de terminaison, de sorte que les appelants continuent d'utiliser la même URL et les mêmes informations d'identification. Cela diffère du versionnement des modèles, qui suit les artefacts dans le Model Registry, et de la surveillance, qui détecte le biais et la dérive. C'est important pour les versions canary et les comparaisons A/B où vous souhaitez du trafic de production réel sur un modèle candidat sans pile de service séparée.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.