Respuestas correctas
- AUsar un contenedor personalizado que precargue el modelo en la memoria.
- CUsar un tipo de máquina con un acelerador GPU.
- DOptimizar el modelo utilizando TorchScript o cuantización.
Explicación
El uso de un contenedor personalizado que precarga el modelo PyTorch de 3 GB en la memoria elimina la sobrecarga de carga de modelos por solicitud, lo cual es esencial para predicciones en línea de baja latencia. El uso de un acelerador GPU proporciona el rendimiento de cálculo paralelo que necesita la inferencia de PyTorch, lo que reduce drásticamente la latencia para un modelo grande en comparación con un servicio exclusivo de CPU. El uso de TorchScript (trazado/secuenciación para una ejecución optimizada) y la cuantización (por ejemplo, FP16/INT8) reduce el tamaño del modelo y el costo de inferencia, lo que reduce directamente la latencia mientras se preserva el servicio en línea. La predicción por lotes no es correcta porque es asincrónica y de alto rendimiento, no un servicio en línea de baja latencia, por lo que contradice el requisito establecido. La implementación multirregión con Cloud Load Balancing mejora la disponibilidad global y la proximidad, pero no aborda el tamaño del modelo ni la latencia por inferencia para las predicciones en línea.
Para profundizar
Vertex AI online prediction admite contenedores personalizados donde usted controla el servidor del modelo (por ejemplo, TorchServe, FastAPI). Precargar el modelo al iniciar el contenedor traslada la carga de 3 GB fuera de la ruta de la solicitud, pero aumenta el tiempo de inicio en frío, lo cual se mitiga con un recuento mínimo de réplicas y verificaciones de estado. Los aceleradores de GPU (NVIDIA T4, L4, A100) aceleran las operaciones matriciales, pero el modelo debe caber en la memoria de la GPU; la cuantización (INT8/FP16) y el rastreo de TorchScript reducen el espacio en memoria y mejoran el rendimiento. Un comportamiento sutil: TorchScript puede interrumpir el flujo de control dinámico, por lo que los modelos con ramas dependientes de datos pueden necesitar secuencias de comandos en lugar de rastreo. Escenario del mundo real: un servicio de recomendación que sirve a un transformador de 3 GB utiliza un contenedor personalizado con pesos precargados, una GPU L4 y cuantización INT8 para alcanzar una latencia p95 inferior a 100 ms.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.