MédiaMúltipla escolha

Questão de prática de PDE

Você implantou um modelo no Vertex AI Endpoints usando um contêiner personalizado. O modelo atende a previsões, mas a latência está maior do que o esperado. Você suspeita que o contêiner não está aproveitando ao máximo os recursos da CPU. O que você deve fazer para reduzir a latência?

Escolha a melhor resposta.

Resposta correta

  • AModificar o contêiner para usar multithreading ou aumentar o número de trabalhadores no servidor de previsão (por exemplo, trabalhadores do Gunicorn).

Explicação

Alta latência em um contêiner personalizado baseado em CPU geralmente decorre da subutilização dos núcleos de CPU disponíveis. Ao aumentar o número de trabalhadores (por exemplo, trabalhadores do Gunicorn) ou habilitar o multithreading, você permite que o servidor de previsão lide com várias solicitações concorrentemente, reduzindo o tempo de fila e melhorando o rendimento (throughput). Isso aborda diretamente o sintoma de que o contêiner não está usando totalmente os recursos de CPU.

Por que cada alternativa está certa ou errada

A

Correta

Modificar o contêiner para usar multithreading ou aumentar o número de trabalhadores no servidor de previsão (por exemplo, trabalhadores do Gunicorn).

Um servidor de previsão de thread único serializa as solicitações, deixando os núcleos de CPU ociosos e inflando a latência. Habilitar o multithreading ou aumentar a contagem de trabalhadores do Gunicorn permite que o contêiner processe inferências concorrentes em paralelo, abordando diretamente a CPU subutilizada identificada no enunciado.

B

Incorreta

Habilitar cache de resposta no endpoint.

O cache de respostas retorna apenas respostas calculadas anteriormente para solicitações idênticas repetidas; ele não pode elevar a utilização da CPU para entradas novas, de modo que a latência em previsões pela primeira vez permanece inalterada. É tentador porque o cache realmente reduz a latência para cargas de trabalho de inferência de alta repetição e leitura intensa, mas este cenário requer ajustar as configurações de thread de CPU ou de trabalhador do contêiner em vez disso.

C

Incorreta

Mudar o tipo de máquina para uma máquina acelerada por GPU.

Uma GPU acelera a computação de matriz paralela, não o pré-processamento associado à CPU ou o caminho de inferência que o contêiner está subutilizando. Máquinas com GPU são a escolha certa para grandes modelos de aprendizado profundo com operações de tensor pesadas; aqui, a utilização da CPU do contêiner é o gargalo declarado, portanto, adicionar capacidade de GPU a deixa ociosa.

D

Incorreta

Aumentar o número de nós ajustando os limites de autoscaling.

O autoscaling adiciona réplicas para atender a mais solicitações concorrentes, mas cada réplica ainda executa a mesma configuração de CPU subutilizada, de modo que a latência por solicitação permanece inalterada. O dimensionamento de nós se adapta ao volume de tráfego crescente; o enunciado identifica o uso ineficiente da CPU dentro do contêiner, o qual mais nós não resolvem.

Para se aprofundar

Os contêineres personalizados do Vertex AI recebem solicitações de previsão por meio de um servidor HTTP fornecido por você, e um servidor de thread único processa uma solicitação por vez, deixando vCPUs alocados ociosos e aumentando a latencia sob concorrência. Executar um servidor WSGI como o Gunicorn com vários processos de trabalhador, ou habilitar multithreading em frameworks como Flask ou FastAPI, permite que o contêiner explore todos os núcleos atribuídos. O dimensionamento automático (autoscaling) de mais nós adiciona réplicas, mas não melhora a latência por solicitação quando cada réplica está limitada pela CPU e subutilizada. As GPUs ajudam apenas em modelos acelerados por GPU. O cache de respostas altera a semântica e não é uma correção geral de latência, portanto, ajustar a concorrência do servidor é o remédio direto.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.