DifícilVárias respostas

Questão de prática de PMLE

Quais DUAS ações são recomendadas para detectar e mitigar o data drift em um sistema de ML de produção no Vertex AI?

Escolha todas as respostas corretas.

Respostas corretas

  • CRetreinar o modelo automaticamente quando o drift exceder os limites
  • DConfigurar o Vertex AI Model Monitoring para emitir alertas sobre alterações na distribuição de recursos

Explicação

O Vertex AI Model Monitoring é o serviço dedicado para detectar data drift em produção; ele analisa continuamente as solicitações de previsão recebidas em comparação com uma linha de base e emite alertas quando as alterações na distribuição de recursos (por exemplo, training-serving skew ou drift) excedem os limites configurados. O retreinamento automatizado acionado quando o drift excede os limites é a ação de mitigação recomendada, fechando o ciclo da detecção à remediação para que o modelo permaneça alinhado com os dados atuais. Juntos, D fornece a detecção e C fornece a mitigação, que é exatamente o que a questão pede. A opção A não é recomendada porque usar um ensemble de vários modelos aborda a variância/acurácia de predição, e não a detecção ou mitigação de data drift. A opção B não é recomendada porque a revisão manual diária não escala e não consegue quantificar de forma confiável o drift de distribuição. A opção E não é recomendada porque monitorar erros de predição ou baixa confiança detecta a degradação de desempenho, mas não identifica especificamente o drift na distribuição de recursos nem o mitiga.

Por que cada alternativa está certa ou errada

A

Incorreta

Implantar vários modelos e usar um ensemble para fazer a média das previsões

Ensembles calculam a média das previsões para aumentar a acurácia; eles não medem nem corrigem o desvio na distribuição de entrada, portanto o drift passa despercebido. Ensembles são adequados para reduzir a variância ou melhorar a robustez em dados estáveis. Detectar o drift requer que o Vertex AI Model Monitoring compare as distribuições de recursos de inferência com a linha de base de treinamento.

B

Incorreta

Revisar manualmente as previsões do modelo diariamente

A revisão manual diária não escala e não pode quantificar o drift estatisticamente; o Vertex AI Model Monitoring calcula o desvio de distribuição e métricas de drift em relação a uma linha de base de treinamento automaticamente, disparando alertas. A inspeção humana é adequada para verificações pontuais de baixo volume ou validação de uma anomalia suspeita, e não para a detecção contínua de drift em todo o tráfego de produção.

C

Correta

Retreinar o modelo automaticamente quando o drift exceder os limites

O retreinamento automatizado atende diretamente ao requisito de mitigação: quando o Vertex AI Model Monitoring sinaliza um drift além dos limites configurados, um pipeline acionado retreina com base em dados recentes, restaurando o alinhamento entre o modelo e a distribuição de produção alterada. Apenas detectar é insuficiente; isso fecha o ciclo agindo sobre o sinal de drift em vez de apenas relatá-lo.

D

Correta

Configurar o Vertex AI Model Monitoring para emitir alertas sobre alterações na distribuição de recursos

O Vertex AI Model Monitoring calcula continuamente estatísticas de distribuição de recursos e as compara com a linha de base de treinamento, disparando alertas quando o skew ou o drift excedem os limites configurados. Isso atende diretamente ao requisito de detectar data drift em produção, permitindo o retreinamento oportuno ou a mitigação antes que a qualidade das previsões se degrade.

E

Incorreta

Monitorar os erros de previsão e sinalizar quando a confiança estiver baixa

Sinais de baixa confiança marcam previsões individuais incertas, e não alterações na distribuição de recursos de entrada, de modo que o drift gradual permanece oculto. O monitoramento de confiança é adequado para capturar inferências unitárias fora da distribuição ou para o encaminhamento para revisão humana. A detecção de drift precisa do Vertex AI Model Monitoring comparando as distribuições de inferência com a linha de base de treinamento.

Para se aprofundar

O Vertex AI Model Monitoring anexa um trabalho de monitoramento a um endpoint de modelo implantado e compara as solicitações de previsão recebidas com uma distribuição de linha de base capturada a partir do treinamento ou de um conjunto de dados de referência, calculando métricas como a divergência de Jensen-Shannon para recursos categóricos e a distância L-infinity para numéricos. Quando um recurso ultrapassa seu limite configurado, o trabalho grava um alerta no Cloud Logging, o qual pode acionar uma Cloud Function ou um push do Pub/Sub. Emparelhar isso com o retreinamento automatizado fecha o ciclo: um pipeline executa novamente o treinamento em dados rotulados recentes e implanta uma nova versão do modelo. Uma sutileza é que o monitoramento precisa de uma taxa de amostragem e detecção de training-serving skew configuradas, e os alertas de drift isolados não consertam a acurácia. Isso importa na detecção de fraude, onde os padrões de gastos mudam e a degradação silenciosa custa dinheiro.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.