FácilMúltipla escolha

Questão de prática de AI-900

Qual é o propósito de um conjunto de dados de teste no desenvolvimento de modelos de aprendizado de máquina?

Escolha a melhor resposta.

Resposta correta

  • BFornecer uma avaliação final imparcial do modelo treinado em dados não vistos

Explicação

O conjunto de dados de teste é usado para fornecer uma avaliação final imparcial do modelo treinado em dados não vistos. Isso é crítico no aprendizado de máquina porque o modelo nunca viu os exemplos de teste durante o treinamento ou validação, portanto as métricas de avaliação (por exemplo, acurácia, precisão, revocação) refletem a verdadeira capacidade de generalização do modelo. No Azure Machine Learning, o conjunto de dados de teste é tipicamente separado dos dados originais antes de qualquer treinamento começar e é usado apenas uma vez no final do ciclo de vida de desenvolvimento do modelo.

Por que cada alternativa está certa ou errada

A

Incorreta

Fornecer exemplos adicionais para treinar o modelo

Os dados de teste são retidos do treinamento para que possam medir a generalização para exemplos não vistos; alimentá-los no treinamento vazaria esses exemplos e inflacionaria a acurácia relatada. Exemplos de treinamento adicionais pertencem ao conjunto de treinamento, com dados de validação usados para ajuste.

B

Correta

Fornecer uma avaliação final imparcial do modelo treinado em dados não vistos

Um conjunto de dados de teste é retido do treinamento e do ajuste de hiperparâmetros, sendo então usado uma única vez para estimar como o modelo se generaliza para dados não vistos. Isso satisfaz o requisito do enunciado para uma avaliação final imparcial, ao contrário dos dados de validação, que guiam a seleção do modelo e, portanto, vazam informações.

C

Incorreta

Ajustar hiperparâmetros e selecionar a melhor versão do modelo

O ajuste de hiperparâmetros e a seleção de modelos exigem um conjunto de dados de validação, que é avaliado repetidamente durante o desenvolvimento. Um conjunto de dados de teste é mantido intocado até a avaliação final, de modo que usá-lo para ajuste vazaria informações e viesaria o desempenho relatado.

D

Incorreta

Monitorar o desempenho do modelo após a implantação

O monitoramento pós-implantação usa tráfego de produção real e métricas, e não um conjunto de teste fixo retido. Um conjunto de dados de teste é particionado antes do treinamento e usado uma vez para estimar o desempenho em dados não vistos, portanto não pode rastrear um modelo implantado.

Para se aprofundar

O conjunto de teste é retido antes de qualquer treinamento e é acessado apenas uma vez, no próprio final, para estimar o erro de generalização. Como o modelo nunca vê esses exemplos durante o ajuste, a métrica resultante aproxima o desempenho em dados verdadeiramente não vistos, razão pela qual ele não deve ser usado para atualizações de gradiente ou busca de hiperparâmetros. Uma armadilha sutil: se você avaliar repetidamente no conjunto de teste e escolher o modelo com melhor pontuação, você vaza informações e a estimativa se torna otimizadamente viesada; é por isso que um conjunto de validação separado (ou validação cruzada) é usado para o ajuste. Em um cenário real, uma equipe de detecção de fraudes treina em 70% das transações, ajusta em 15% e relata a precisão/revocação final na divisão de teste intacta de 15% antes da implantação.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.