Bonne réponse
- DCoût total de possession comprenant l'infrastructure et l'expertise
Explication
Le coût total de possession (TCO) est le facteur le plus critique car il englobe non seulement les coûts directs d'infrastructure (calcul, stockage, réseau), mais aussi les coûts cachés de l'expertise (ingénieurs MLOps, durcissement de la sécurité, maintenance continue) et les coûts d'opportunité. Une API pré-entraînée peut avoir des coûts par jeton plus élevés mais un investissement initial plus faible, tandis que l'auto-hébergement d'un modèle open source nécessite des dépenses en capital importantes en GPU, refroidissement et électricité, ainsi que la charge opérationnelle de la mise à l'échelle de l'inférence sous une charge variable. Cette décision a un impact direct sur le taux de consommation de trésorerie et l'autonomie financière de la startup, faisant du TCO le principal moteur pour une organisation aux ressources limitées.
Pour aller plus loin
Le choix entre un modèle d'API hébergé et l'auto-hébergement d'un modèle open source repose sur le coût total de possession : la tarification des API évolue avec les jetons et l'utilisation mais n'entraîne aucune charge d'infrastructure, tandis que l'auto-hébergement nécessite des GPU, des piles de service d'inférence, une mise à l'échelle automatique, une surveillance et une expertise en ingénierie ML, ainsi qu'une maintenance continue du modèle. Une subtilité est que la précision des benchmarks et le nombre de paramètres sont de mauvais indicateurs de l'adéquation à la production, car le fine-tuning, la quantification et la conception de prompts comblent souvent les écarts, et le support de la communauté ne compense pas le coût opérationnel. Dans un scénario de startup réaliste, une équipe projetant des millions d'inférences par jour peut constater que les coûts des API dépassent un cluster de GPU réservé, mais seulement si elle emploie déjà des ingénieurs capables de faire fonctionner vLLM ou TGI ; sinon, le coût d'expertise caché fait de l'API le choix rationnel.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.