Resposta correta
- AUsar o SageMaker Model Monitor - Model Quality Monitor com ground truth, criar um alarme do CloudWatch na métrica e acionar uma função do AWS Lambda para iniciar o retreinamento
Explicação
O Model Quality Monitor do SageMaker Model Monitor foi projetado especificamente para comparar previsões de modelos com rótulos de ground truth (disponíveis com um atraso de 2 dias) e rastrear métricas como acurácia (accuracy), precisão, revocação (recall) ou pontuação F1. Você pode configurar um alarme do CloudWatch em uma métrica como 'accuracy' caindo abaixo de um limite, o que aciona uma função do AWS Lambda para iniciar o pipeline de retreinamento. Isso automatiza a detecção da degradação da qualidade da previsão e a resposta de retreinamento sem intervenção manual.
Para se aprofundar
O Model Quality Monitor do SageMaker Model Monitor compara previsões com rótulos de ground truth para calcular métricas como acurácia, precisão e revocação. Os rótulos de ground truth são ingeridos com atraso, de modo que o monitor pode ser agendado para rodar após a chegada dos rótulos. Quando uma métrica ultrapassa um limite, ela emite um sinal para o CloudWatch, o que pode acionar um alarme. O alarme pode invocar uma função do AWS Lambda que inicia um pipeline de retreinamento, como uma execução do SageMaker Pipelines. Isso automatiza o retreinamento com base na qualidade real da previsão, não apenas na desviação de dados (data drift). O Data Quality Monitor detecta desvios nos dados de entrada, que podem não se correlacionar com a degradação de desempenho. O Clarify monitora o viés, não a qualidade geral. Portanto, o Model Quality Monitor com ground truth é a escolha apropriada para acionar o retreinamento quando a qualidade cai.
Sobre estas questões de prática
Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.