MédiaVárias respostas

Questão de prática de PMLE

Uma equipe deseja servir um modelo grande do PyTorch (3 GB) para predições online com baixa latência. Quais TRÊS ações eles devem tomar?

Escolha todas as respostas corretas.

Respostas corretas

  • AUsar um contêiner personalizado que pré-carrega o modelo na memória.
  • CUsar um tipo de máquina com um acelerador de GPU.
  • DOtimizar o modelo usando TorchScript ou quantização.

Explicação

A Opção A está correta porque um contêiner personalizado que pré-carrega o modelo PyTorch de 3 GB na memória elimina a sobrecarga de carregamento do modelo por requisição, o que é essencial para predições online de baixa latência. A Opção C está correta porque anexar um acelerador de GPU fornece a taxa de transferência de computação paralela que a inferência do PyTorch precisa, reduzindo drasticamente a latência para um modelo grande em comparação com o serviço exclusivo de CPU. A Opção D está correta porque o TorchScript (rastreamento/criação de scripts para execução otimizada) e a quantização (por exemplo, FP16/INT8) reduzem o tamanho do modelo e o custo de inferência, diminuindo diretamente a latência enquanto preservam o serviço online. A Opção B está incorreta porque a predição em lote é assíncrona e de alta taxa de transferência, não um serviço online de baixa latência, portanto contradiz o requisito declarado. A Opção E está incorreta porque a implantação de várias regiões com o Cloud Load Balancing melhora a disponibilidade e a proximidade globais, mas não aborda o tamanho do modelo ou a latência por inferência para predições online.

Por que cada alternativa está certa ou errada

A

Correta

Usar um contêiner personalizado que pré-carrega o modelo na memória.

O pré-carregamento do modelo de 3 GB na memória dentro de um contêiner personalizado elimina o carregamento de modelos por requisição, o que de outra forma domina a latência para um modelo desse tamanho. Isso aborda diretamente a restrição de baixa latência, removendo a sobrecarga de inicialização a frio e leitura de disco do caminho de predição.

B

Incorreta

Usar predição em lote em vez de predição online.

A predição em lote processa dados armazenados em massa e retorna resultados de forma assíncrona, portanto, não pode fornecer respostas de baixa latência para requisições online individuais. É tentador porque o processamento em lote melhora a taxa de transferência e o custo para grandes volumes; seria correto para trabalhos de pontuação offline, não para atendimento em tempo real.

C

Correta

Usar um tipo de máquina com um acelerador de GPU.

Um acelerador de GPU fornece a taxa de transferência de computação paralela necessária para a inferência do PyTorch, reduzindo substancialmente o tempo de processamento por requisição em comparação com o atendimento baseado apenas em CPU. Isso atende ao requisito de baixa latência para um modelo de 3 GB cujas passagens diretas seriam muito lentas.

D

Correta

Otimizar o modelo usando TorchScript ou quantização.

A compilação e a quantização do TorchScript reduzem o tamanho do modelo e o custo de inferência, diminuindo o consumo de memória e a latência por requisição. Aplicadas a um modelo PyTorch de 3 GB, essas otimizações atendem diretamente à restrição de predição online de baixa latência, em vez de apenas simplificar a implantação.

E

Incorreta

Implantar em várias regiões com o Cloud Load Balancing.

A implantação em várias regiões com o Cloud Load Balancing reduz a latência geográfica, mas não resolve o atendimento de um modelo PyTorch de 3 GB com baixa latência; o modelo ainda precisa de infraestrutura de atendimento otimizada. É tentador porque a distribuição regional melhora a disponibilidade e a proximidade; seria correta para bases de usuários globais, não para restrições de tamanho de modelo.

Para se aprofundar

A predição online do Vertex AI oferece suporte a contêineres personalizados onde você controla o servidor de modelos (por exemplo, TorchServe, FastAPI). O pré-carregamento do modelo na inicialização do contêiner remove a carga de 3 GB do caminho de requisição, mas aumenta o tempo de inicialização a frio — mitigado pela contagem mínima de réplicas e verificações de integridade. Aceleradores de GPU (NVIDIA T4, L4, A100) aceleram operações de matriz, mas o modelo deve caber na memória da GPU; a quantização (INT8/FP16) e o rastreamento do TorchScript reduzem o consumo de memória e melhoram a taxa de transferência. Um comportamento sutil: o TorchScript pode interromper o fluxo de controle dinâmico, portanto, modelos com ramificações dependentes de dados podem precisar de scripts em vez de rastreamento. Cenário do mundo real: um serviço de recomendação que atende a um transformador de 3 GB usa um contêiner personalizado com pesos pré-carregados, uma GPU L4 e quantização INT8 para atingir uma latência p95 inferior a 100 ms.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.