FácilOpción múltiple

Pregunta de práctica de Generative AI Leader

Una empresa está utilizando Vertex AI para desplegar un modelo de generación de texto para un chatbot. Quieren reducir la latencia de respuesta. ¿Qué cambio de configuración es más efectivo?

Elige la mejor respuesta.

Respuesta correcta

  • BUtilizar una variante de modelo más pequeña

Explicación

Utilizar una variante de modelo más pequeña reduce directamente el número de parámetros y las operaciones computacionales requeridas por inferencia, lo que disminuye la latencia. En Vertex AI, los modelos más pequeños como `text-bison@002` tienen menos capas y cabezas de atención que sus contrapartes más grandes, lo que da como resultado una generación de tokens más rápida sin requerir cambios de hardware.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Habilitar la cuantización del modelo

La cuantización reduce la huella de memoria y puede acelerar la inferencia en hardware compatible, pero su ganancia de latencia es modesta y depende del modelo. Se elige cuando los costes de servicio o la memoria de la GPU están restringidos, no cuando la latencia bruta por token es el objetivo principal.

B

Correcta

Utilizar una variante de modelo más pequeña

Una variante de modelo más pequeña reduce el número de parámetros procesados por token, recortando el cómputo de inferencia y, por lo tanto, la latencia de respuesta. Esto satisface directamente la restricción del enunciado de reducir la latencia para el chatbot de Vertex AI, ya que el tiempo de generación escala con el tamaño del modelo en lugar de con el formato de la petición o la región del endpoint.

C

Incorrecta

Aumentar el número de GPU

Añadir GPU aumenta el rendimiento en paralelo para solicitudes concurrentes, no la latencia de una sola generación, la cual está limitada por la decodificación secuencial de tokens. Es atractiva porque el escalado horizontal es el remedio estándar para servicios sobrecargados, y sería correcta cuando el chatbot debe servir a muchos usuarios simultáneos.

D

Incorrecta

Utilizar un tamaño de lote mayor

Los lotes más grandes elevan el rendimiento, no la latencia por solicitud; en realidad retrasan las respuestas individuales al esperar a llenar el lote. El procesamiento por lotes se adapta a la inferencia masiva fuera de línea donde importa el rendimiento total, pero un chatbot en tiempo real necesita latencia de solicitud única, a la que da respuesta el streaming o un modelo más pequeño.

Para profundizar

La latencia de inferencia en Vertex AI está dominada por el tamaño del modelo, el recuento de parámetros y el cómputo requerido por token, por lo que seleccionar una variante de modelo más pequeña suele arrojar la mayor reducción de latencia, ya que menos parámetros significan menos multiplicaciones de matriz por pasada hacia adelante (forward pass). La cuantización reduce la precisión y puede disminuir la latencia y la memoria, pero su beneficio suele ser menor que pasar a una arquitectura fundamentalmente más pequeña y puede comprometer la calidad. Añadir GPU aumenta el rendimiento (throughput) y el paralelismo, pero no reduce necesariamente la latencia de una sola solicitud, y los tamaños de lote (batch size) más grandes mejoran el rendimiento a costa de la latencia por solicitud. Un escenario realista: un chatbot que atiende a usuarios interactivos necesita respuestas inferiores a un segundo; cambiar de un modelo grande de propósito general a una variante destilada más pequeña mantiene las respuestas rápidas sin dejar de ser adecuado para la tarea, mientras que escalar las GPU solo ayudaría bajo una alta carga concurrente.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.