FacileChoix multiples

Question d'entraînement Generative AI Leader

Une entreprise utilise des modèles génératifs Vertex AI pour un service de résumé de texte à volume élevé. Quelles sont les deux stratégies qui peuvent réduire les coûts opérationnels ?

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • DUtiliser la prédiction par lots (batch prediction) au lieu de la prédiction en ligne.
  • ERéduire la taille du modèle (par exemple, passer de text-bison@002 à text-bison-light).

Explication

La prédiction par lots (batch prediction) réduit les coûts en traitant plusieurs requêtes dans un seul travail par lots, ce qui évite les surcoûts par requête et le temps de calcul inactif associés à la prédiction en ligne. C'est particulièrement rentable pour les charges de travail à volume élevé et hors temps réel comme la synthèse de texte, car vous payez uniquement pour le temps de calcul utilisé pendant le travail par lots plutôt que pour chaque inférence individuelle.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter le nombre maximal de jetons de sortie du modèle à 2048.

L'augmentation des jetons de sortie augmente le coût par requête.

B

Fausse

Mettre en œuvre une logique de nouvelle tentative avec un recul exponentiel.

Les nouvelles tentatives augmentent le nombre de requêtes, ce qui fait monter les coûts.

C

Fausse

Baisser le paramètre de température à 0.

La température n'affecte pas le coût ; elle modifie uniquement le caractère aléatoire de la sortie.

D

Juste

Utiliser la prédiction par lots (batch prediction) au lieu de la prédiction en ligne.

La prédiction par lots a un coût par requête inférieur pour les grands volumes par rapport à la prédiction en ligne.

E

Juste

Réduire la taille du modèle (par exemple, passer de text-bison@002 à text-bison-light).

Les modèles plus petits ont un coût par jeton inférieur, ce qui réduit les coûts opérationnels.

Pour aller plus loin

La prédiction par lots traite de nombreuses entrées en un seul travail asynchrone, permettant à Vertex AI de provisionner et de libérer des ressources de calcul pour l'ensemble du lot plutôt que de maintenir un point de terminaison chaud (warm), ce qui est considérablement moins cher par prédiction que les requêtes en ligne. Choisir une variante de modèle plus petite ou plus légère, telle qu'un point de contrôle text-bison plus léger, réduit les coûts de calcul et de jetons par appel car moins de paramètres sont évalués. La logique de nouvelle tentative (retry) et la température ne modifient pas le prix sous-jacent, et l'augmentation du nombre maximal de jetons de sortie augmente les coûts puisque la facturation est souvent basée sur les jetons. Une subtilité est que les travaux par lots ont une latence plus élevée et nécessitent des entrées stockées dans Cloud Storage ou BigQuery, ils conviennent donc aux pipelines de résumé hors ligne plutôt qu'à l'utilisation interactive. En pratique, une charge de travail de résumé nocturne déplacée du mode en ligne vers le mode par lots peut réduire considérablement les dépenses tout en respectant les SLA.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.