FácilSelección múltiple

Pregunta de práctica de Generative AI Leader

Una empresa está utilizando modelos generativos de Vertex AI para un servicio de resumen de texto de alto volumen. ¿Qué dos estrategias pueden reducir los costos operativos?

Elige todas las respuestas correctas.

Respuestas correctas

  • DUtilizar predicción por lotes en lugar de predicción en línea.
  • EReducir el tamaño del modelo (por ejemplo, cambiar de text-bison@002 a text-bison-light).

Explicación

La predicción por lotes reduce los costos al procesar múltiples solicitudes en un solo trabajo por lotes, lo que evita la sobrecarga por solicitud y el tiempo de cómputo inactivo asociados con la predicción en línea. Esto es especialmente rentable para cargas de trabajo de alto volumen y que no son en tiempo real, como el resumen de texto, ya que se paga únicamente por el tiempo de cómputo utilizado durante el trabajo por lotes en lugar de por cada inferencia individual.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el máximo de tokens de salida del modelo a 2048.

Aumentar los tokens de salida incrementa el costo por solicitud.

B

Incorrecta

Implementar lógica de reintentos con retroceso exponencial.

Los reintentos aumentan el número de solicitudes, elevando los costos.

C

Incorrecta

Reducir el parámetro de temperatura a 0.

La temperatura no afecta el costo; solo cambia la aleatoriedad de la salida.

D

Correcta

Utilizar predicción por lotes en lugar de predicción en línea.

La predicción por lotes tiene un costo menor por solicitud para trabajos grandes en comparación con la predicción en línea.

E

Correcta

Reducir el tamaño del modelo (por ejemplo, cambiar de text-bison@002 a text-bison-light).

Los modelos más pequeños tienen un costo menor por token, lo que reduce los costos operativos.

Para profundizar

La predicción por lotes procesa muchas entradas en un solo trabajo asincrónico, lo que permite que Vertex AI aprovisione y libere recursos de cómputo para todo el lote en lugar de mantener un endpoint activo, lo cual es sustancialmente más económico por predicción que las solicitudes en línea. Elegir una variante de modelo más pequeña o ligera, como un punto de control de text-bison más ligero, reduce el costo de cómputo y de tokens por llamada porque se evalúan menos parámetros. La lógica de reintentos y la temperatura no modifican el precio subyacente, y aumentar el máximo de tokens de salida incrementa el costo, ya que la facturación suele basarse en tokens. Una sutileza es que los trabajos por lotes tienen mayor latencia y requieren entradas almacenadas en Cloud Storage o BigQuery, por lo que se adaptan a canalizaciones de resumen fuera de línea en lugar de a un uso interactivo. En la práctica, una carga de trabajo de resumen nocturna trasladada de en línea a por lotes puede reducir drásticamente el gasto sin dejar de cumplir con los SLA.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.