Respuestas correctas
- DUtilizar predicción por lotes en lugar de predicción en línea.
- EReducir el tamaño del modelo (por ejemplo, cambiar de text-bison@002 a text-bison-light).
Explicación
La predicción por lotes reduce los costos al procesar múltiples solicitudes en un solo trabajo por lotes, lo que evita la sobrecarga por solicitud y el tiempo de cómputo inactivo asociados con la predicción en línea. Esto es especialmente rentable para cargas de trabajo de alto volumen y que no son en tiempo real, como el resumen de texto, ya que se paga únicamente por el tiempo de cómputo utilizado durante el trabajo por lotes en lugar de por cada inferencia individual.
Para profundizar
La predicción por lotes procesa muchas entradas en un solo trabajo asincrónico, lo que permite que Vertex AI aprovisione y libere recursos de cómputo para todo el lote en lugar de mantener un endpoint activo, lo cual es sustancialmente más económico por predicción que las solicitudes en línea. Elegir una variante de modelo más pequeña o ligera, como un punto de control de text-bison más ligero, reduce el costo de cómputo y de tokens por llamada porque se evalúan menos parámetros. La lógica de reintentos y la temperatura no modifican el precio subyacente, y aumentar el máximo de tokens de salida incrementa el costo, ya que la facturación suele basarse en tokens. Una sutileza es que los trabajos por lotes tienen mayor latencia y requieren entradas almacenadas en Cloud Storage o BigQuery, por lo que se adaptan a canalizaciones de resumen fuera de línea en lugar de a un uso interactivo. En la práctica, una carga de trabajo de resumen nocturna trasladada de en línea a por lotes puede reducir drásticamente el gasto sin dejar de cumplir con los SLA.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.