Respuesta correcta
- BEl contenedor personalizado tiene una fuga de memoria; implemente monitoreo de memoria y establezca límites de recursos para el contenedor.
Explicación
Un aumento gradual en la latencia durante dos semanas, sin un pico repentino, indica claramente una fuga de memoria en el contenedor personalizado. A medida que la fuga se acumula, la recolección de basura (garbage collection) del contenedor se vuelve menos efectiva, lo que provoca mayores pausas de GC y tiempos de espera finales. Configurar límites de recursos y monitorear el uso de memoria puede evitar que el contenedor agote la memoria del host y cause degradación del rendimiento.
Para profundizar
Un contenedor personalizado en Vertex AI Endpoint se ejecuta dentro de una máquina virtual administrada; si el proceso de servicio pierde memoria, el conjunto residente del contenedor crece hasta que el host comienza a usar memoria virtual (swapping) o el motor de ejecución lo limita, y la latencia por solicitud aumenta progresivamente durante días en lugar de tener un pico repentino. Vertex AI expone métricas de memoria del contenedor a través de Cloud Monitoring, y configurar un límite de memoria del contenedor junto con una sonda de actividad (liveness probe) permite que la plataforma reinicie la réplica antes de que ocurran tiempos de espera. Esto difiere de la latencia impulsada por el tráfico, que se correlacionaría con la tasa de solicitudes y se solucionaría mediante el reescalado automático (autoscaling) del recuento de réplicas. El escenario realista es un servidor de inferencia de Python que almacena en caché tensores por solicitud sin desalojo, degradándose constantemente hasta que los clientes alcanzan errores de límite de tiempo excedido.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.