MoyenneChoix unique

Question d'entraînement PDE

Une équipe de machine learning souhaite déployer une nouvelle version de modèle pour des tests canary, où seulement 5 % du trafic est acheminé vers la nouvelle version. Quelle configuration d'endpoint Vertex AI prend cela en charge ?

Choisissez la meilleure réponse.

Bonne réponse

  • CConfigurer l'endpoint avec une répartition du trafic : 95 % pour l'ancienne version, 5 % pour la nouvelle version.

Explication

Les endpoints Vertex AI prennent en charge nativement la répartition du trafic (traffic splitting), vous permettant d'acheminer un pourcentage spécifié de requêtes vers différentes versions de modèles déployées sur le même endpoint. En configurant une répartition du trafic de 95 % pour l'ancienne version et de 5 % pour la nouvelle, vous pouvez effectuer des tests canary sans infrastructure supplémentaire ni logique côté client. C'est l'approche correcte et la plus simple au sein de Vertex AI.

Pourquoi chaque option est juste ou fausse

A

Fausse

Faire en sorte que l'application cliente sélectionne aléatoirement le modèle à appeler avec une probabilité de 5 %.

La sélection aléatoire côté client déplace la décision de routage vers chaque instance d'application, de sorte que Vertex AI ne reçoit aucune configuration de répartition du trafic et ne peut pas signaler de métriques par modèle ni modifier les pondérations sans redéployer les clients. Une répartition du trafic côté serveur sur l'endpoint est requise ; la randomisation côté client convient aux cas sans endpoint géré.

B

Fausse

Déployer la nouvelle version sur un endpoint distinct et diriger 5 % des utilisateurs via un équilibreur de charge.

Un endpoint distinct avec une répartition par un équilibreur de charge externe contourne la répartition native du trafic de Vertex AI, qui est configurée sur un seul endpoint via les pourcentages de trafic du modèle déployé. C'est tentant car les équilibreurs de charge distribuent le trafic, et ce serait correct si les modèles se trouvaient entièrement en dehors des endpoints Vertex AI.

C

Juste

Configurer l'endpoint avec une répartition du trafic : 95 % pour l'ancienne version, 5 % pour la nouvelle version.

Les endpoints Vertex AI prennent en charge la répartition du trafic en attribuant des pondérations en pourcentage aux versions de modèles déployées. Définir 95 % pour la version existante et 5 % pour la nouvelle achemine exactement la part canary requise, permettant une validation graduelle avant le déploiement complet.

D

Fausse

Utiliser un framework de test A/B externe à Vertex AI pour comparer les résultats.

Un framework A/B externe divise le trafic au niveau de la couche application, contournant l'endpoint Vertex AI, de sorte que la répartition de 5 % ne peut pas être appliquée côté serveur et que les métriques ne sont pas capturées par modèle déployé. Il convient à la comparaison d'expériences hors ligne, et non au routage canary en direct où l'endpoint lui-même doit diviser le trafic.

Pour aller plus loin

Les endpoints Vertex AI prennent en charge le déploiement de plusieurs ressources Model sur un seul endpoint, chacune avec son propre ID de modèle déployé, et la répartition du trafic est configurée en spécifiant une table trafficSplit associant l'ID du modèle au pourcentage, dont la somme doit être égale à 100. Cela vous permet d'envoyer 95 % au modèle stable et 5 % au modèle canary sans modification du client, et vous pouvez modifier les pourcentages progressivement ou revenir en arrière instantanément en mettant à jour la répartition. Une subtilité : la répartition est appliquée par requête de prédiction au niveau de l'endpoint, et la journalisation ou la surveillance des prédictions peuvent être activées par modèle déployé pour comparer la latence et les taux d'erreur. La sélection aléatoire côté client ou un équilibreur de charge externe ajoute de la complexité et contourne les métriques intégrées de Vertex AI, c'est pourquoi la répartition native du trafic est préférée pour les tests canary.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.