Respuesta correcta
- DEl coste total de propiedad, incluyendo la infraestructura y la experiencia
Explicación
El coste total de propiedad (TCO) es el factor más crítico porque abarca no sólo los costes directos de infraestructura (cómputo, almacenamiento, redes), sino también los costes ocultos de experiencia (ingenieros de MLOps, endurecimiento de seguridad, mantenimiento continuo) y los costes de oportunidad. Una API preentrenada puede tener mayores costes por token pero una menor inversión inicial, mientras que alojar un modelo de código abierto requiere un gasto de capital significativo en GPU, refrigeración y energía, además de la carga operativa de escalar la inferencia bajo una carga variable. Esta decisión afecta directamente a la tasa de consumo de efectivo (burn rate) y al tiempo de supervivencia (runway) de la startup, lo que convierte al TCO en el principal factor impulsor para una organización con recursos limitados.
Para profundizar
Elegir entre un modelo de API alojado y el autoalojamiento de un modelo de código abierto depende del coste total de propiedad: los precios de las API escalan con los tokens y el uso, pero no conllevan ninguna carga de infraestructura, mientras que el autoalojamiento requiere GPU, pilas de servicio de inferencia, escalado automático, monitorización y experiencia en ingeniería de ML, además del mantenimiento continuo del modelo. Una sutileza es que la precisión en los benchmarks y el recuento de parámetros son indicadores deficientes de la idoneidad para producción, ya que el ajuste fino (fine-tuning), la cuantización y el diseño de peticiones (prompt design) a menudo cierran las brechas, y el soporte de la comunidad no compensa el coste operativo. En un escenario realista de una startup, un equipo que proyecte millones de inferencias diarias puede encontrar que los costes de la API superan a un clúster de GPU reservado, pero solo si ya emplean ingenieros que puedan operar vLLM o TGI; de lo contrario, el coste de la experiencia oculta hace que la API sea la opción racional.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.