FácilSelección múltiple

Pregunta de práctica de PDE

¿Qué DOS acciones pueden ayudar a reducir la latencia de predicción de un endpoint de Vertex AI?

Elige todas las respuestas correctas.

Respuestas correctas

  • BOptimizar la arquitectura del modelo para reducir el tamaño
  • CUtilizar un contenedor de predicción personalizado con dependencias optimizadas

Explicación

Optimizar la arquitectura del modelo para reducir su tamaño disminuye directamente la carga computacional durante la inferencia, lo que reduce la latencia de predicción. Los modelos más pequeños requieren menos operaciones de punto flotante (FLOPs) por predicción, lo que permite tiempos de respuesta más rápidos en los endpoints de Vertex AI.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el número de características

Más características aumentan el cálculo.

B

Correcta

Optimizar la arquitectura del modelo para reducir el tamaño

Los modelos más pequeños predicen más rápido.

C

Correcta

Utilizar un contenedor de predicción personalizado con dependencias optimizadas

Reduce la sobrecarga.

D

Incorrecta

Utilizar un tipo de máquina más grande con más vCPUs

No aborda directamente la latencia; puede ayudar pero no es lo mejor.

E

Incorrecta

Establecer el número mínimo de réplicas en 0 para ahorrar costos

Los arranques en frío aumentan la latencia.

Para profundizar

La latencia de los endpoints de Vertex AI está dominada por el cálculo del modelo, el inicio del contenedor y la sobrecarga de manejo de solicitudes. Reducir el tamaño del modelo mediante la optimización de la arquitectura, la cuantización o la poda reduce la aritmética por inferencia, y un contenedor de predicción personalizado con dependencias recortadas acorta el tiempo de extracción e importación de la imagen y evita cargar bibliotecas no utilizadas. Una sutileza es que establecer las réplicas mínimas en cero introduce arranques en frío (cold starts), por lo que ahorra costos pero aumenta la latencia de cola, y agregar vCPUs solo ayuda si el modelo está limitado por la CPU y es paralelizable. En un servicio de puntuación en tiempo real con objetivos estrictos de p99, optimizar el modelo y el contenedor suele arrojar ganancias más predecibles que simplemente escalar el hardware, porque el cuello de botella suele ser el preprocesamiento serializado o los pesos sobredimensionados.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.