FácilMúltipla escolha

Questão de prática de Generative AI Leader

Uma startup está decidindo entre usar um modelo pré-treinado via API ou hospedar seu próprio modelo de código aberto. Qual fator é mais crítico para sua decisão?

Escolha a melhor resposta.

Resposta correta

  • DCusto total de propriedade, incluindo infraestrutura e experiência

Explicação

O custo total de propriedade (TCO) é o fator mais crítico porque engloba não apenas os custos diretos de infraestrutura (computação, armazenamento, rede), mas também os custos ocultos de experiência (engenheiros de MLOps, endurecimento de segurança, manutenção contínua) e custos de oportunidade. Uma API pré-treinada pode ter custos mais altos por token, mas menor investimento inicial, enquanto a hospedagem própria de um modelo de código aberto requer despesas de capital significativas em GPUs, refrigeração e energia, além do ônus operacional de dimensionar a inferência sob carga variável. Essa decisão impacta diretamente a taxa de consumo de caixa e o período de sustentação financeira da startup, tornando o TCO o principal impulsionador para uma organização com recursos limitados.

Por que cada alternativa está certa ou errada

A

Incorreta

A precisão em um conjunto de dados de referência

A precisão de referência mede a qualidade do modelo, que é comparável em ambos os métodos de entrega, portanto, não decide entre eles. Ela é tentadora porque a precisão realmente impulsiona a seleção do modelo, o que importa uma vez que a abordagem de hospedagem já está definida.

B

Incorreta

O número de parâmetros no modelo

A contagem de parâmetros descreve a capacidade do modelo, não o meio-termo entre API e auto-hospedagem em termos de custo, controle de dados e ônus operacional. Ela é tentadora porque os parâmetros indicam genuinamente a capacidade e os requisitos de hardware, que importam ao dimensionar a infraestrutura para uma implantação auto-hospedada.

C

Incorreta

O nível de suporte da comunidade para o modelo de código aberto

O suporte da comunidade afeta a manutenção de longo prazo de um modelo auto-hospedado, mas não determina se a API ou a auto-hospedagem se adapta à startup. Ela é tentadora porque uma comunidade ativa realmente reduz o risco de suporte, o que importa uma vez que a auto-hospedagem já foi escolhida.

D

Correta

Custo total de propriedade, incluindo infraestrutura e experiência

Hospedar modelos de código aberto requer GPUs, dimensionamento e experiência em MLOps, enquanto o acesso por API troca isso por taxas de uso. A comparação do custo total de propriedade entre infraestrutura, pessoal e volume captura o compromisso decisivo entre as duas abordagens.

Para se aprofundar

A escolha entre um modelo de API hospedado e a auto-hospedagem de um modelo de código aberto depende do custo total de propriedade: a precificação da API escala com tokens e uso, mas não traz nenhum encargo de infraestrutura, enquanto a auto-hospedagem requer GPUs, pilhas de serviço de inferência, dimensionamento automático, monitoramento e experiência em engenharia de ML, além da manutenção contínua do modelo. Uma sutileza é que a precisão em um conjunto de dados de referência e a contagem de parâmetros são indicadores ruins de adequação para produção, uma vez que o ajuste fino, a quantização e o design de prompts frequentemente fecham lacunas, e o suporte da comunidade não compensa o custo operacional. Em um cenário realista de startup, uma equipe que projeta milhões de inferências diárias pode descobrir que os custos da API excedem um cluster de GPU reservado, mas apenas se já empregarem engenheiros que possam operar vLLM ou TGI; caso contrário, o custo oculto de experiência torna a API a escolha racional.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.