Respuestas correctas
- ATamaño y arquitectura del modelo
- CTipo y número de GPU
- DConfiguración de autoscaling
Explicación
El tamaño y la arquitectura del modelo impactan directamente en la latencia de inferencia, ya que los modelos más grandes con más parámetros requieren más cómputo por solicitud. Para aplicaciones sensibles a la latencia, elegir un modelo más pequeño o destilado (por ejemplo, Gemma 2B frente a 27B) o utilizar cuantización puede reducir los tiempos de respuesta. Vertex AI Endpoints sirve el modelo tal cual, por lo que el costo computacional inherente del modelo es el principal impulsor de la latencia por solicitud.
Para profundizar
Vertex AI Endpoints sirve modelos en recursos de cómputo cuya latencia depende del tamaño y la arquitectura del modelo, el tipo y número de aceleradores, y el comportamiento del autoscaling. Los modelos más grandes o las arquitecturas con muchos parámetros requieren más memoria y cómputo, lo que incrementa la latencia por solicitud. El tipo y la cantidad de GPU determinan el rendimiento (throughput) y si el modelo cabe en la memoria del acelerador; por ejemplo, una NVIDIA T4 tiene 16 GB, mientras que una A100 tiene 40 GB u 80 GB. La configuración de autoscaling establece los recuentos mínimo y máximo de réplicas y las métricas de escala, como la utilización de CPU o las solicitudes por segundo, afectando directamente la latencia de arranque en frío (cold-start) y la capacidad bajo carga. El número de versiones e instancias del modelo están relacionados pero no son factores principales de latencia; las versiones afectan la distribución del tráfico y las instancias son un resultado del autoscaling. Un escenario realista es una aplicación de chat que requiere respuestas en menos de un segundo, donde elegir un modelo más pequeño, una GPU adecuada y un recuento mínimo de réplicas evita arranques en frío.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.