FácilMúltipla escolha

Questão de prática de MLA-C01

Uma equipe de ciência de dados implanta um modelo de regressão no Amazon SageMaker para inferência em tempo real. Após um mês, os erros de previsão do modelo aumentam significativamente, mas as distribuições de dados permanecem inalteradas. Qual abordagem de monitoramento é A MAIS ADEQUADA para detectar esse problema?

Escolha a melhor resposta.

Resposta correta

  • AConfigure o Amazon SageMaker Model Monitor para rastrear métricas de desempenho do modelo em relação aos rótulos de verdade de campo à medida que eles chegam.

Explicação

O Amazon SageMaker Model Monitor pode ser configurado para rastrear métricas de desempenho do modelo (por exemplo, métricas de erro de regressão como RMSE ou MAE) em relação aos rótulos de verdade de campo conforme eles chegam. Como a pergunta afirma que as distribuições de dados permanecem inalteradas, mas os erros de previsão aumentam, o problema é provavelmente a degradação do modelo (por exemplo, desvio de conceito ou obsolescência do modelo) em vez do desvio de dados. O monitoramento direto dos rótulos de verdade de campo captura essa degradação de desempenho, tornando a opção A a abordagem mais adequada.

Por que cada alternativa está certa ou errada

A

Correta

Configure o Amazon SageMaker Model Monitor para rastrear métricas de desempenho do modelo em relação aos rótulos de verdade de campo à medida que eles chegam.

Como as distribuições são inalteradas, o problema é a degradação do desempenho em vez do desvio de dados. O Model Monitor comparando as previsões com os rótulos de verdade de campo detecta a diminuição da precisão, satisfazendo a necessidade de capturar aumentos de erros quando as distribuições de entrada permanecem estáveis.

B

Incorreta

Use o Amazon SageMaker Clarify para monitorar o desvio de atribuição de recursos.

O desvio de atribuição de recursos do Clarify compara as distribuições de valores SHAP entre os dados de linha de base e os dados ativos, portanto, ele detecta alterações na influência dos recursos, e não o aumento de erros com entradas estáveis. É tentador porque o desvio de atribuição pode preceder a degradação, mas aqui as entradas são inalteradas, então a abordagem correta mede a qualidade da previsão em relação à verdade de campo.

C

Incorreta

Habilite o Amazon CloudWatch para monitorar a latência do endpoint do modelo.

A latência do endpoint do CloudWatch rastreia a duração das solicitações, erros de invocação e limitação, nenhum dos quais revela o erro de previsão em relação aos resultados reais. É tentador porque o CloudWatch é o painel operacional padrão para endpoints, mas o monitoramento de latência responde a perguntas de desempenho, enquanto o enunciado requer medir a degradação da acurácia do modelo com distribuições de entrada inalteradas.

D

Incorreta

Configure o Amazon SageMaker Model Monitor para rastrear o desvio de dados nos recursos de entrada.

O monitoramento do desvio de dados compara as distribuições de recursos de entrada ativos em relação a uma linha de base, portanto, com distribuições inalteradas, ele não produz nenhum alerta e perde o aumento de erro. É tentador porque o Model Monitor é o serviço de monitoramento padrão do SageMaker, mas seus recursos de qualidade de dados e desvio tratam da mudança de covariáveis, e não da queda de precisão, o que requer monitoramento da qualidade do modelo com rótulos de verdade de campo.

Para se aprofundar

O monitoramento de desempenho do SageMaker Model Monitor compara as previsões do modelo com os rótulos de verdade de campo capturados posteriormente, computando métricas como MAE, RMSE ou precisão dependendo do tipo de problema. Como a pergunta afirma que as distribuições de recursos são inalteradas, o monitoramento do desvio de dados não mostraria nada; a degradação decorre de uma relação alterada entre as entradas e o alvo, que apenas a comparação com a verdade de campo expõe. Sob o capô, você habilita a captura de dados no endpoint, mescla as previsões capturadas com os rótulos no S3 e agenda um trabalho de monitoramento que emite métricas do CloudWatch e violações para um relatório. Um cenário realista: um modelo de preços continua recebendo os mesmos intervalos de recursos, mas a mudança de preços de um concorrente torna os padrões históricos obsoletos, de modo que apenas o monitoramento de desempenho baseado em rótulos sinaliza o erro crescente.

Sobre estas questões de prática

Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.