MediaOpción múltiple

Pregunta de práctica de PDE

Un equipo de aprendizaje automático quiere implementar una nueva versión de un modelo para pruebas de canary, donde solo el 5% del tráfico se enrute a la nueva versión. ¿Qué configuración de endpoint de Vertex AI admite esto?

Elige la mejor respuesta.

Respuesta correcta

  • CConfigurar el endpoint con división de tráfico: 95% para la versión antigua, 5% para la versión nueva.

Explicación

Los endpoints de Vertex AI admiten de forma nativa la división de tráfico, lo que le permite enrutar un porcentaje especificado de solicitudes a diferentes versiones de modelos implementadas en el mismo endpoint. Al configurar una división de tráfico del 95% para la versión anterior y del 5% para la nueva versión, puede realizar pruebas de canary sin infraestructura adicional ni lógica del lado del cliente. Este es el enfoque correcto y más sencillo dentro de Vertex AI.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Hacer que la aplicación cliente seleccione aleatoriamente qué modelo llamar con una probabilidad del 5%.

La selección aleatoria del lado del cliente traslada la decisión de enrutamiento a cada instancia de aplicación, por lo que Vertex AI no recibe ninguna configuración de división de tráfico y no puede informar métricas por modelo ni cambiar pesos sin volver a implementar los clientes. Se requiere una división de tráfico del lado del servidor en el endpoint; la aleatorización del cliente se adapta a casos sin un endpoint administrado.

B

Incorrecta

Implementar la nueva versión en un endpoint separado y dirigir al 5% de los usuarios mediante un balanceador de carga.

Un endpoint separado con división mediante un balanceador de carga externo pasa por alto la división de tráfico nativa de Vertex AI, la cual se configura en un solo endpoint a través de porcentajes de tráfico del modelo implementado. Es tentador porque los balanceadores de carga distribuyen tráfico, y sería correcto si los modelos estuvieran completamente fuera de los endpoints de Vertex AI.

C

Correcta

Configurar el endpoint con división de tráfico: 95% para la versión antigua, 5% para la versión nueva.

Los endpoints de Vertex AI admiten la división de tráfico mediante la asignación de pesos porcentuales a las versiones de modelos implementadas. Configurar el 95% para la versión existente y el 5% para la nueva enruta exactamente la cuota de canary requerida, lo que permite una validación gradual antes del lanzamiento completo.

D

Incorrecta

Utilizar un marco de pruebas A/B fuera de Vertex AI para comparar los resultados.

Un marco de pruebas A/B externo divide el tráfico en la capa de aplicación, omitiendo el endpoint de Vertex AI, por lo que la división del 5% no se puede aplicar en el lado del servidor y las métricas no se capturan por modelo implementado. Se adapta a la comparación de experimentos fuera de línea, no al enrutamiento de canary en vivo donde el endpoint mismo debe dividir el tráfico.

Para profundizar

Los endpoints de Vertex AI admiten la implementación de múltiples recursos de Model en un solo endpoint, cada uno con su propio ID de modelo implementado, y la división de tráfico se configura especificando un mapa trafficSplit que relaciona el ID del modelo con un porcentaje que debe sumar 100. Esto le permite enviar el 95% al modelo estable y el 5% al modelo de canary sin realizar cambios en el cliente, y puede cambiar los porcentajes gradualmente o revertir los cambios de inmediato actualizando la división. Un detalle sutil: la división se aplica por solicitud de predicción en el endpoint, y el registro o monitoreo de predicciones se puede habilitar por cada modelo implementado para comparar la latencia y las tasas de error. La selección aleatoria del lado del cliente o un balanceador de carga externo agregan complejidad y omiten las métricas integradas de Vertex AI, por lo que se prefiere la división de tráfico nativa para las pruebas de canary.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.