DifícilSelección múltiple

Pregunta de práctica de Generative AI Leader

¿Qué TRES consideraciones son fundamentales al implementar un modelo de inteligencia artificial generativa utilizando Vertex AI Endpoints para una aplicación sensible a la latencia? (Elija TRES).

Elige todas las respuestas correctas.

Respuestas correctas

  • ATamaño y arquitectura del modelo
  • CTipo y número de GPU
  • DConfiguración de autoscaling

Explicación

El tamaño y la arquitectura del modelo impactan directamente en la latencia de inferencia, ya que los modelos más grandes con más parámetros requieren más cómputo por solicitud. Para aplicaciones sensibles a la latencia, elegir un modelo más pequeño o destilado (por ejemplo, Gemma 2B frente a 27B) o utilizar cuantización puede reducir los tiempos de respuesta. Vertex AI Endpoints sirve el modelo tal cual, por lo que el costo computacional inherente del modelo es el principal impulsor de la latencia por solicitud.

Por qué cada opción es correcta o incorrecta

A

Correcta

Tamaño y arquitectura del modelo

Los modelos más grandes introducen una mayor latencia.

B

Incorrecta

Número de versiones del modelo

El versionado de modelos no afecta directamente a la latencia.

C

Correcta

Tipo y número de GPU

La selección de la GPU afecta la velocidad de inferencia.

D

Correcta

Configuración de autoscaling

Un autoscaling adecuado garantiza una baja latencia bajo carga variable.

E

Incorrecta

Número de instancias del modelo

Aunque es importante, el autoscaling maneja el recuento de instancias de forma dinámica.

Para profundizar

Vertex AI Endpoints sirve modelos en recursos de cómputo cuya latencia depende del tamaño y la arquitectura del modelo, el tipo y número de aceleradores, y el comportamiento del autoscaling. Los modelos más grandes o las arquitecturas con muchos parámetros requieren más memoria y cómputo, lo que incrementa la latencia por solicitud. El tipo y la cantidad de GPU determinan el rendimiento (throughput) y si el modelo cabe en la memoria del acelerador; por ejemplo, una NVIDIA T4 tiene 16 GB, mientras que una A100 tiene 40 GB u 80 GB. La configuración de autoscaling establece los recuentos mínimo y máximo de réplicas y las métricas de escala, como la utilización de CPU o las solicitudes por segundo, afectando directamente la latencia de arranque en frío (cold-start) y la capacidad bajo carga. El número de versiones e instancias del modelo están relacionados pero no son factores principales de latencia; las versiones afectan la distribución del tráfico y las instancias son un resultado del autoscaling. Un escenario realista es una aplicación de chat que requiere respuestas en menos de un segundo, donde elegir un modelo más pequeño, una GPU adecuada y un recuento mínimo de réplicas evita arranques en frío.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.