MediaSelección múltiple

Pregunta de práctica de PMLE

Un equipo quiere servir un modelo PyTorch grande (3 GB) para predicciones en línea con baja latencia. ¿Qué TRES acciones deben tomar?

Elige todas las respuestas correctas.

Respuestas correctas

  • AUsar un contenedor personalizado que precargue el modelo en la memoria.
  • CUsar un tipo de máquina con un acelerador GPU.
  • DOptimizar el modelo utilizando TorchScript o cuantización.

Explicación

El uso de un contenedor personalizado que precarga el modelo PyTorch de 3 GB en la memoria elimina la sobrecarga de carga de modelos por solicitud, lo cual es esencial para predicciones en línea de baja latencia. El uso de un acelerador GPU proporciona el rendimiento de cálculo paralelo que necesita la inferencia de PyTorch, lo que reduce drásticamente la latencia para un modelo grande en comparación con un servicio exclusivo de CPU. El uso de TorchScript (trazado/secuenciación para una ejecución optimizada) y la cuantización (por ejemplo, FP16/INT8) reduce el tamaño del modelo y el costo de inferencia, lo que reduce directamente la latencia mientras se preserva el servicio en línea. La predicción por lotes no es correcta porque es asincrónica y de alto rendimiento, no un servicio en línea de baja latencia, por lo que contradice el requisito establecido. La implementación multirregión con Cloud Load Balancing mejora la disponibilidad global y la proximidad, pero no aborda el tamaño del modelo ni la latencia por inferencia para las predicciones en línea.

Por qué cada opción es correcta o incorrecta

A

Correcta

Usar un contenedor personalizado que precargue el modelo en la memoria.

La precarga del modelo de 3 GB en la memoria dentro de un contenedor personalizado elimina la carga del modelo por solicitud, lo que de otro modo domina la latencia para un modelo de este tamaño. Esto aborda directamente la restricción de baja latencia al eliminar la sobrecarga de inicio en frío y lectura de disco de la ruta de predicción.

B

Incorrecta

Usar la predicción por lotes en lugar de la predicción en línea.

La predicción por lotes procesa los datos almacenados de forma masiva y devuelve los resultados de forma asincrónica, por lo que no puede ofrecer respuestas de baja latencia a solicitudes individuales en línea. Es tentador porque el procesamiento por lotes mejora el rendimiento y el costo para grandes volúmenes; sería correcto para trabajos de puntuación fuera de línea, no para servicios en tiempo real.

C

Correcta

Usar un tipo de máquina con un acelerador GPU.

Un acelerador GPU proporciona el rendimiento de cálculo paralelo que necesita la inferencia de PyTorch, lo que reduce sustancialmente el tiempo de procesamiento por solicitud en comparación con el servicio exclusivo de CPU. Esto satisface el requisito de baja latencia para un modelo de 3 GB cuyas pasadas de avance de otro modo serían demasiado lentas.

D

Correcta

Optimizar el modelo utilizando TorchScript o cuantización.

La compilación y cuantización de TorchScript reducen el tamaño del modelo y el costo de inferencia, disminuyendo tanto el consumo de memoria como la latencia por solicitud. Aplicadas a un modelo PyTorch de 3 GB, estas optimizaciones sirven directamente a la restricción de predicción en línea de baja latencia en lugar de simplemente simplificar el despliegue.

E

Incorrecta

Desplegar en múltiples regiones con Cloud Load Balancing.

El despliegue multirregión con Cloud Load Balancing reduce la latencia geográfica, pero no aborda el servicio de un modelo PyTorch de 3 GB con baja latencia; el modelo aún necesita una infraestructura de servicio optimizada. Es tentador porque la distribución regional mejora la disponibilidad y la proximidad; sería correcto para bases de usuarios globales, no para restricciones de tamaño de modelo.

Para profundizar

Vertex AI online prediction admite contenedores personalizados donde usted controla el servidor del modelo (por ejemplo, TorchServe, FastAPI). Precargar el modelo al iniciar el contenedor traslada la carga de 3 GB fuera de la ruta de la solicitud, pero aumenta el tiempo de inicio en frío, lo cual se mitiga con un recuento mínimo de réplicas y verificaciones de estado. Los aceleradores de GPU (NVIDIA T4, L4, A100) aceleran las operaciones matriciales, pero el modelo debe caber en la memoria de la GPU; la cuantización (INT8/FP16) y el rastreo de TorchScript reducen el espacio en memoria y mejoran el rendimiento. Un comportamiento sutil: TorchScript puede interrumpir el flujo de control dinámico, por lo que los modelos con ramas dependientes de datos pueden necesitar secuencias de comandos en lugar de rastreo. Escenario del mundo real: un servicio de recomendación que sirve a un transformador de 3 GB utiliza un contenedor personalizado con pesos precargados, una GPU L4 y cuantización INT8 para alcanzar una latencia p95 inferior a 100 ms.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.