MediaOpción múltiple

Pregunta de práctica de PDE

Implemento un modelo en Vertex AI Endpoints utilizando un contenedor personalizado. El modelo ofrece predicciones, pero la latencia es mayor de la esperada. Sospecha que el contenedor no esta aprovechando al maximo los recursos de la CPU. ¿Que debe hacer para reducir la latencia?

Elige la mejor respuesta.

Respuesta correcta

  • AModificar el contenedor para usar multihilo o aumentar el numero de trabajadores en el servidor de prediccion (por ejemplo, trabajadores de Gunicorn).

Explicación

La alta latencia en un contenedor personalizado basado en CPU a menudo surge de la subutilizacion de los nucleos de CPU disponibles. Al aumentar el numero de trabajadores (por ejemplo, trabajadores de Gunicorn) o habilitar multihilo, permite que el servidor de predicciones maneje multiples solicitudes simultaneamente, reduciendo el tiempo de cola y mejorando el rendimiento. Esto aborda directamente el sintoma de que el contenedor no hace pleno uso de los recursos de la CPU.

Por qué cada opción es correcta o incorrecta

A

Correcta

Modificar el contenedor para usar multihilo o aumentar el numero de trabajadores en el servidor de prediccion (por ejemplo, trabajadores de Gunicorn).

Un servidor de predicciones de un solo hilo serializa las solicitudes, dejando los nucleos de CPU inactivos e inflando la latencia. Habilitar multihilo o aumentar el recuento de trabajadores de Gunicorn permite que el contenedor procese inferencias concurrentes en paralelo, abordando directamente la CPU infrautilizada identificada en el enunciado.

B

Incorrecta

Habilitar el almacenamiento en cache de respuestas en el endpoint.

El almacenamiento en cache de respuestas solo devuelve respuestas calculadas previamente para solicitudes identicas repetidas; no puede elevar la utilizacion de la CPU para entradas novedosas, por lo que la latencia en las predicciones por primera vez permanece sin cambios. Es tentador porque el almacenamiento en cache reduce genuinamente la latencia para cargas de trabalho de inferencia con mucha lectura y alta repeticion, pero este escenario requiere ajustar la configuracion de hilos de CPU o de trabajadores del contenedor en su lugar.

C

Incorrecta

Cambiar el tipo de maquina a una maquina acelerada por GPU.

Una GPU acelera el calculo de matriz paralelo, no el preprocesamiento limitado por CPU o la ruta de inferencia que el contenedor esta infrautilizando. Las maquinas con GPU son la opcion correcta para grandes modelos de aprendizaje profundo con operaciones de tensores pesadas; aqui la utilizacion de CPU del contenedor es el cuello de botella declarado, por lo que agregar capacidad de GPU la deja inactiva.

D

Incorrecta

Aumentar el numero de nodos ajustando los limites de autoescalado.

El autoescalado agrega replicas para servir solicitudes mas concurrentes, pero cada replica aun ejecuta la misma configuracion de CPU subutilizada, por lo que la latencia por solicitud no cambia. El escalado de nodos se adapta al aumento del volumen de trafico; el enunciado identifica el uso ineficiente de la CPU dentro del contenedor, lo cual mas nodos no solucionan.

Para profundizar

Los contenedores personalizados de Vertex AI reciben solicitudes de prediccion a traves de un servidor HTTP que usted proporciona, y un servidor de un solo hilo procesa una solicitud a la vez, dejando las vCPUs asignadas inactivas e inflando la latencia bajo concurrencia. Ejecutar un servidor WSGI como Gunicorn con multiples procesos de trabajadores, o habilitar hilos en marcos como Flask o FastAPI, permite que el contenedor explote todos los nucleos asignados. Escalar automaticamente mas nodos agrega replicas pero no mejora la latencia por solicitud cuando cada replica esta limitada por CPU y subutilizada. Las GPUs ayudan solo para modelos acelerados por GPU. El almacenamiento en cache de respuestas cambia la semantica y no es una solucion general de latencia, por lo que ajustar la concurrencia del servidor es el remedio directo.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.