Resposta correta
- DCusto total de propriedade, incluindo infraestrutura e experiência
Explicação
O custo total de propriedade (TCO) é o fator mais crítico porque engloba não apenas os custos diretos de infraestrutura (computação, armazenamento, rede), mas também os custos ocultos de experiência (engenheiros de MLOps, endurecimento de segurança, manutenção contínua) e custos de oportunidade. Uma API pré-treinada pode ter custos mais altos por token, mas menor investimento inicial, enquanto a hospedagem própria de um modelo de código aberto requer despesas de capital significativas em GPUs, refrigeração e energia, além do ônus operacional de dimensionar a inferência sob carga variável. Essa decisão impacta diretamente a taxa de consumo de caixa e o período de sustentação financeira da startup, tornando o TCO o principal impulsionador para uma organização com recursos limitados.
Para se aprofundar
A escolha entre um modelo de API hospedado e a auto-hospedagem de um modelo de código aberto depende do custo total de propriedade: a precificação da API escala com tokens e uso, mas não traz nenhum encargo de infraestrutura, enquanto a auto-hospedagem requer GPUs, pilhas de serviço de inferência, dimensionamento automático, monitoramento e experiência em engenharia de ML, além da manutenção contínua do modelo. Uma sutileza é que a precisão em um conjunto de dados de referência e a contagem de parâmetros são indicadores ruins de adequação para produção, uma vez que o ajuste fino, a quantização e o design de prompts frequentemente fecham lacunas, e o suporte da comunidade não compensa o custo operacional. Em um cenário realista de startup, uma equipe que projeta milhões de inferências diárias pode descobrir que os custos da API excedem um cluster de GPU reservado, mas apenas se já empregarem engenheiros que possam operar vLLM ou TGI; caso contrário, o custo oculto de experiência torna a API a escolha racional.
Sobre estas questões de prática
Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.