Respuesta correcta
- AModificar el contenedor para usar multihilo o aumentar el numero de trabajadores en el servidor de prediccion (por ejemplo, trabajadores de Gunicorn).
Explicación
La alta latencia en un contenedor personalizado basado en CPU a menudo surge de la subutilizacion de los nucleos de CPU disponibles. Al aumentar el numero de trabajadores (por ejemplo, trabajadores de Gunicorn) o habilitar multihilo, permite que el servidor de predicciones maneje multiples solicitudes simultaneamente, reduciendo el tiempo de cola y mejorando el rendimiento. Esto aborda directamente el sintoma de que el contenedor no hace pleno uso de los recursos de la CPU.
Para profundizar
Los contenedores personalizados de Vertex AI reciben solicitudes de prediccion a traves de un servidor HTTP que usted proporciona, y un servidor de un solo hilo procesa una solicitud a la vez, dejando las vCPUs asignadas inactivas e inflando la latencia bajo concurrencia. Ejecutar un servidor WSGI como Gunicorn con multiples procesos de trabajadores, o habilitar hilos en marcos como Flask o FastAPI, permite que el contenedor explote todos los nucleos asignados. Escalar automaticamente mas nodos agrega replicas pero no mejora la latencia por solicitud cuando cada replica esta limitada por CPU y subutilizada. Las GPUs ayudan solo para modelos acelerados por GPU. El almacenamiento en cache de respuestas cambia la semantica y no es una solucion general de latencia, por lo que ajustar la concurrencia del servidor es el remedio directo.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.