Resposta correta
- AModificar o contêiner para usar multithreading ou aumentar o número de trabalhadores no servidor de previsão (por exemplo, trabalhadores do Gunicorn).
Explicação
Alta latência em um contêiner personalizado baseado em CPU geralmente decorre da subutilização dos núcleos de CPU disponíveis. Ao aumentar o número de trabalhadores (por exemplo, trabalhadores do Gunicorn) ou habilitar o multithreading, você permite que o servidor de previsão lide com várias solicitações concorrentemente, reduzindo o tempo de fila e melhorando o rendimento (throughput). Isso aborda diretamente o sintoma de que o contêiner não está usando totalmente os recursos de CPU.
Para se aprofundar
Os contêineres personalizados do Vertex AI recebem solicitações de previsão por meio de um servidor HTTP fornecido por você, e um servidor de thread único processa uma solicitação por vez, deixando vCPUs alocados ociosos e aumentando a latencia sob concorrência. Executar um servidor WSGI como o Gunicorn com vários processos de trabalhador, ou habilitar multithreading em frameworks como Flask ou FastAPI, permite que o contêiner explore todos os núcleos atribuídos. O dimensionamento automático (autoscaling) de mais nós adiciona réplicas, mas não melhora a latência por solicitação quando cada réplica está limitada pela CPU e subutilizada. As GPUs ajudam apenas em modelos acelerados por GPU. O cache de respostas altera a semântica e não é uma correção geral de latência, portanto, ajustar a concorrência do servidor é o remédio direto.
Sobre estas questões de prática
Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.