MédiaMúltipla escolha

Questão de prática de PMLE

Uma empresa implanta um modelo de classificação no Vertex AI para aprovação de empréstimos. Após um mês, eles percebem que a precisão caiu significativamente. O que eles devem fazer primeiro?

Escolha a melhor resposta.

Resposta correta

  • CVerificar se há desvio de dados usando o Vertex AI Model Monitoring

Explicação

Uma queda repentina na precisão indica que as previsões do modelo não estão mais se alinhando com a verdade de campo, o que é um sintoma clássico de desvio de dados (data drift). O Vertex AI Model Monitoring pode detectar automaticamente o desvio nas distribuições de recursos ou na saída de previsão em comparação com uma linha de base, permitindo identificar a causa raiz antes de tomar medidas corretivas. Retreinar ou reverter sem diagnosticar o desvio primeiro pode desperdiçar recursos ou mascarar o problema subjacente.

Por que cada alternativa está certa ou errada

A

Incorreta

Retreinar o modelo com mais dados

O retreinamento é uma etapa de remediação, não de diagnóstico; sem primeiro confirmar o desvio de dados ou alterações de rótulos, novos dados podem reproduzir a mesma perda de precisão. O retreinamento seria correto assim que a análise identificasse a causa, por exemplo, desvio de recursos confirmado ou desvio de conceito em resultados de empréstimos recentes.

B

Incorreta

Aumentar o número de nós de previsão

Adicionar nós de previsão aumenta a vazão de atendimento e reduz a latência; não pode restaurar a precisão, que é uma métrica de qualidade do modelo não afetada pelo dimensionamento horizontal. O dimensionamento de nós seria correto se o sintoma fossem tempos limite ou enfileiramento sob volume de solicitações aumentado, e não uma queda na precisão da classificação.

C

Correta

Verificar se há desvio de dados usando o Vertex AI Model Monitoring

A degradação da precisão pós-implantação normalmente decorre do deslocamento da distribuição de entrada em relação aos dados de treinamento. O Vertex AI Model Monitoring calcula o desvio em relação à linha de base de treinamento, portanto, verificá-lo primeiro identifica se as distribuições de recursos se moveram, abordando diretamente a queda na precisão antes de retreinar ou ajustar.

D

Incorreta

Reverter para a versão anterior do modelo

A reversão restaura o comportamento anterior, mas descarta a causa; se o desvio estiver em andamento, o modelo antigo também se degradará e o rollback pode violar os requisitos de auditoria. A reversão seria correta quando uma implantação recente introduziu a regressão e a versão anterior permanece válida para os dados atuais.

Para se aprofundar

O Vertex AI Model Monitoring compara o tráfego de atendimento com uma linha de base de treinamento e calcula métricas de desvio, como a divergência de Jensen-Shannon para recursos categóricos e a distância L-infinito normalizada para recursos numéricos, com limites configuráveis que acionam alertas. Uma queda de precisão em um modelo de aprovação de empréstimo é um sintoma; a primeira etapa de diagnóstico é determinar se as distribuições de entrada mudaram, se os rótulos mudaram ou se o próprio modelo se degradou. O Model Monitoring exibe a assimetria (skew) e o desvio de recursos por meio do Cloud Logging e do console, podendo ser associado à detecção de assimetria entre treinamento e atendimento. Retreinar, dimensionar nós de previsão ou reverter são ações de remediação que devem seguir as evidências. O aumento dos nós de previsão apenas adiciona capacidade e não pode restaurar a precisão, portanto, agir antes de verificar o desvio corre o risco de mascarar uma alteração no pipeline de dados que ocorrerá novamente.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.