FácilMúltipla escolha

Questão de prática de PMLE

Você precisa servir um modelo TensorFlow que possui uma latência de inicialização a frio de 20 segundos. O modelo é usado para uma aplicação em tempo real com tráfego imprevisível, mas picos ocasionais exigem respostas imediatas. Qual é a melhor estratégia de implantação para minimizar tanto o impacto da inicialização a frio quanto o custo?

Escolha a melhor resposta.

Resposta correta

  • ADefinir min_replica_count como 1 para manter pelo menos uma instância sempre quente.

Explicação

Definir min_replica_count como 1 mantém uma instância de modelo sempre carregada, eliminando a inicialização a frio de 20 segundos para a primeira requisição e garantindo respostas imediatas durante os picos. Como apenas uma réplica é mantida aquecida, o custo permanece baixo em comparação com a manutenção de múltiplas réplicas sempre ligadas, e o dimensionamento automático pode adicionar mais quando o tráfego aumenta. Isso equilibra a latência e o custo para cargas de trabalho imprevisíveis em tempo real.

Por que cada alternativa está certa ou errada

A

Correta

Definir min_replica_count como 1 para manter pelo menos uma instância sempre quente.

Definir min_replica_count como 1 mantém uma réplica carregada permanentemente, portanto, a inicialização a frio do TensorFlow de 20 segundos é paga apenas na implantação em vez de em cada pico. Os picos são absorvidos escalando réplicas adicionais e a capacidade ociosa permanece mínima, equilibrando a latência em relação ao custo.

B

Incorreta

Usar um tipo de máquina maior para reduzir o tempo de inicialização a frio.

Um tipo de máquina maior encurta a inicialização marginalmente, mas não elimina a carga do TensorFlow de 20 segundos, e aumenta o custo continuamente enquanto fica ocioso entre picos imprevisíveis. É tentador porque instâncias maiores reduzem genuinamente parte da sobrecarga de inicialização do framework, o que ajudaria se a inicialização a frio fosse limitada por computação em vez de carga de modelo.

C

Incorreta

Definir min_replica_count como 0 e contar com o dimensionamento automático para lidar com os picos.

Definir min_replica_count como 0 significa que cada pico aciona uma nova inicialização a frio de 20 segundos, violando diretamente o requisito de resposta imediata. É tentador porque a escala para zero minimiza o custo ocioso, o que seria correto para cargas de trabalho em lote ou tolerantes à latência onde primeiras requisições lentas ocasionais são aceitáveis.

D

Incorreta

Habilitar o serviço no Cloud Run para uma inicialização a frio mais rápida.

A inicialização a frio baseada em requisições do Cloud Run ainda incorre na carga de 20 segundos do modelo na expansão, portanto os picos não são atendidos imediatamente. É tentador porque o Cloud Run escala para zero e cobra por requisição, o que seria a escolha certa para inferência tolerante à latência ou infrequente onde o custo supera a resposta instantânea.

Para se aprofundar

No Vertex AI, um modelo implantado é executado em um contêiner Docker em uma réplica. A inicialização a frio inclui extrair a imagem, inicializar o runtime e carregar os pesos do modelo na memória. min_replica_count controla quantas réplicas permanecem provisionadas; max_replica_count limita o dimensionamento horizontal. Manter uma réplica aquecida evita a inicialização a frio, mas gera custo contínuo; defini-la como zero economiza custo, mas adiciona latência. Um comportamento subtil: mesmo com uma réplica aquecida, um pico repentino além da capacidade dessa réplica aciona novas réplicas que ainda sofrem inicialização a frio, então você pode combinar min_replica_count=1 com um máximo pequeno e ganchos de pré-aquecimento ou aquecimento do modelo. Sistemas de recomendação do mundo real frequentemente usam min=1 para o tráfego base e dimensionamento automático para picos, aceitando alguma latência de inicialização a frio apenas no transbordamento.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.