Respuesta correcta
- BUtilizar una variante de modelo más pequeña
Explicación
Utilizar una variante de modelo más pequeña reduce directamente el número de parámetros y las operaciones computacionales requeridas por inferencia, lo que disminuye la latencia. En Vertex AI, los modelos más pequeños como `text-bison@002` tienen menos capas y cabezas de atención que sus contrapartes más grandes, lo que da como resultado una generación de tokens más rápida sin requerir cambios de hardware.
Para profundizar
La latencia de inferencia en Vertex AI está dominada por el tamaño del modelo, el recuento de parámetros y el cómputo requerido por token, por lo que seleccionar una variante de modelo más pequeña suele arrojar la mayor reducción de latencia, ya que menos parámetros significan menos multiplicaciones de matriz por pasada hacia adelante (forward pass). La cuantización reduce la precisión y puede disminuir la latencia y la memoria, pero su beneficio suele ser menor que pasar a una arquitectura fundamentalmente más pequeña y puede comprometer la calidad. Añadir GPU aumenta el rendimiento (throughput) y el paralelismo, pero no reduce necesariamente la latencia de una sola solicitud, y los tamaños de lote (batch size) más grandes mejoran el rendimiento a costa de la latencia por solicitud. Un escenario realista: un chatbot que atiende a usuarios interactivos necesita respuestas inferiores a un segundo; cambiar de un modelo grande de propósito general a una variante destilada más pequeña mantiene las respuestas rápidas sin dejar de ser adecuado para la tarea, mientras que escalar las GPU solo ayudaría bajo una alta carga concurrente.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.