FácilOpción múltiple

Pregunta de práctica de Generative AI Leader

Una startup está decidiendo entre utilizar un modelo preentrenado a través de una API o alojar su propio modelo de código abierto. ¿Qué factor es el más crítico para su decisión?

Elige la mejor respuesta.

Respuesta correcta

  • DEl coste total de propiedad, incluyendo la infraestructura y la experiencia

Explicación

El coste total de propiedad (TCO) es el factor más crítico porque abarca no sólo los costes directos de infraestructura (cómputo, almacenamiento, redes), sino también los costes ocultos de experiencia (ingenieros de MLOps, endurecimiento de seguridad, mantenimiento continuo) y los costes de oportunidad. Una API preentrenada puede tener mayores costes por token pero una menor inversión inicial, mientras que alojar un modelo de código abierto requiere un gasto de capital significativo en GPU, refrigeración y energía, además de la carga operativa de escalar la inferencia bajo una carga variable. Esta decisión afecta directamente a la tasa de consumo de efectivo (burn rate) y al tiempo de supervivencia (runway) de la startup, lo que convierte al TCO en el principal factor impulsor para una organización con recursos limitados.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

La precisión en un conjunto de datos de referencia (benchmark)

La precisión en un benchmark mide la calidad del modelo, la cual es comparable en ambos métodos de entrega, por lo que no es decisiva entre ellos. Es engañosa porque la precisión impulsa genuinamente la selección del modelo, lo cual importa una vez que el enfoque de alojamiento ya está decidido.

B

Incorrecta

El número de parámetros del modelo

El recuento de parámetros describe la capacidad del modelo, no la disyuntiva entre API y autoalojamiento en términos de coste, control de datos y carga operativa. Es engañosa porque los parámetros indican genuinamente la capacidad y los requisitos de hardware, los cuales importan al dimensionar la infraestructura para un despliegue autoalojado.

C

Incorrecta

El nivel de soporte de la comunidad para el modelo de código abierto

El soporte de la comunidad afecta al mantenimiento a largo plazo de un modelo autoalojado, pero no determina si la API o el autoalojamiento se adaptan a la startup. Es engañosa porque una comunidad activa reduce genuinamente el riesgo de soporte, lo cual importa una vez que ya se ha elegido el autoalojamiento.

D

Correcta

El coste total de propiedad, incluyendo la infraestructura y la experiencia

El alojamiento de modelos de código abierto requiere GPU, escalado y experiencia en MLOps, mientras que el acceso por API cambia eso por tarifas de uso. Comparar el coste total de propiedad entre infraestructura, personal y volumen captura la disyuntiva decisiva entre ambos enfoques.

Para profundizar

Elegir entre un modelo de API alojado y el autoalojamiento de un modelo de código abierto depende del coste total de propiedad: los precios de las API escalan con los tokens y el uso, pero no conllevan ninguna carga de infraestructura, mientras que el autoalojamiento requiere GPU, pilas de servicio de inferencia, escalado automático, monitorización y experiencia en ingeniería de ML, además del mantenimiento continuo del modelo. Una sutileza es que la precisión en los benchmarks y el recuento de parámetros son indicadores deficientes de la idoneidad para producción, ya que el ajuste fino (fine-tuning), la cuantización y el diseño de peticiones (prompt design) a menudo cierran las brechas, y el soporte de la comunidad no compensa el coste operativo. En un escenario realista de una startup, un equipo que proyecte millones de inferencias diarias puede encontrar que los costes de la API superan a un clúster de GPU reservado, pero solo si ya emplean ingenieros que puedan operar vLLM o TGI; de lo contrario, el coste de la experiencia oculta hace que la API sea la opción racional.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.