Bonnes réponses
- DUtiliser la prédiction par lots (batch prediction) au lieu de la prédiction en ligne.
- ERéduire la taille du modèle (par exemple, passer de text-bison@002 à text-bison-light).
Explication
La prédiction par lots (batch prediction) réduit les coûts en traitant plusieurs requêtes dans un seul travail par lots, ce qui évite les surcoûts par requête et le temps de calcul inactif associés à la prédiction en ligne. C'est particulièrement rentable pour les charges de travail à volume élevé et hors temps réel comme la synthèse de texte, car vous payez uniquement pour le temps de calcul utilisé pendant le travail par lots plutôt que pour chaque inférence individuelle.
Pour aller plus loin
La prédiction par lots traite de nombreuses entrées en un seul travail asynchrone, permettant à Vertex AI de provisionner et de libérer des ressources de calcul pour l'ensemble du lot plutôt que de maintenir un point de terminaison chaud (warm), ce qui est considérablement moins cher par prédiction que les requêtes en ligne. Choisir une variante de modèle plus petite ou plus légère, telle qu'un point de contrôle text-bison plus léger, réduit les coûts de calcul et de jetons par appel car moins de paramètres sont évalués. La logique de nouvelle tentative (retry) et la température ne modifient pas le prix sous-jacent, et l'augmentation du nombre maximal de jetons de sortie augmente les coûts puisque la facturation est souvent basée sur les jetons. Une subtilité est que les travaux par lots ont une latence plus élevée et nécessitent des entrées stockées dans Cloud Storage ou BigQuery, ils conviennent donc aux pipelines de résumé hors ligne plutôt qu'à l'utilisation interactive. En pratique, une charge de travail de résumé nocturne déplacée du mode en ligne vers le mode par lots peut réduire considérablement les dépenses tout en respectant les SLA.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.