FácilMúltipla escolha

Questão de prática de AI-900

Qual é o objetivo de um 'validation dataset' no aprendizado de máquina?

Escolha a melhor resposta.

Resposta correta

  • BUma divisão de dados separada usada durante o desenvolvimento para ajustar hiperparâmetros e comparar modelos

Explicação

Um validation dataset é um subconjunto separado dos dados de treinamento usado durante o desenvolvimento do modelo para ajustar hiperparâmetros e comparar diferentes modelos sem viés. No Azure Machine Learning, essa divisão é normalmente realizada usando a função `train_test_split` ou automatizada por meio das configurações de validação cruzada do AutoML, garantindo que o desempenho do modelo em dados não vistos seja estimado com precisão antes da avaliação final no conjunto de teste.

Por que cada alternativa está certa ou errada

A

Incorreta

Validar que os dados de treinamento cumprem os regulamentos de privacidade de dados

Um validation dataset ajusta hiperparâmetros e estima a generalização durante o desenvolvimento do modelo; ele não tem papel regulatório, e a conformidade com a privacidade é aplicada por meio de governança e controles de consentimento. É tentador porque a palavra 'validação' sugere verificar a correção, mas essa verificação diz respeito ao desempenho do modelo, e não à legalidade dos dados.

B

Correta

Uma divisão de dados separada usada durante o desenvolvimento para ajustar hiperparâmetros e comparar modelos

Um validation dataset é separado do treinamento e usado para ajustar hiperparâmetros e selecionar entre modelos candidatos, satisfazendo a necessidade de comparar modelos sem tocar no conjunto de teste. O conjunto de teste permanece reservado para a avaliação final imparcial.

C

Incorreta

O conjunto de dados original antes da aplicação de quaisquer transformações de pré-processamento

O conjunto de dados original não processado é o conjunto de dados bruto; os dados de validação são separados após o pré-processamento para ajustar hiperparâmetros e comparar iterações de modelo. Os dados brutos ainda exigem limpeza e divisão. Escolher o conjunto de dados bruto estaria correto se a pergunta perguntasse onde a engenharia de recursos começa.

D

Incorreta

Dados que foram verificados manualmente como 100% corretos por especialistas no domínio

Os dados de validação são separados para estimar a generalização durante a seleção do modelo; eles não são verificados manualmente como perfeitamente corretos, e o ruído nos rótulos é tolerado. A verdade de referência (ground truth) verificada manualmente descreve um conjunto de teste ou padrão ouro usado para relatar a acurácia final. Os dados de validação estariam corretos ao ajustar hiperparâmetros.

Para se aprofundar

Um validation dataset é uma parte separada de dados rotulados usada durante o desenvolvimento do modelo para ajustar hiperparâmetros, comparar arquiteturas e decidir quando parar o treinamento, sem tocar no conjunto de teste. A divisão típica é treino, validação e teste; o conjunto de teste é reservado para uma estimativa final imparcial. Um comportamento sutil: ajustar repetidamente em relação ao conjunto de validação causa vazamento de informações, de modo que seu desempenho se torna otimistamente tendencioso e não representa mais dados não vistos. É por isso que a validação cruzada k-fold é usada em conjuntos de dados menores, alternando qual dobra serve como validação. Um cenário realista é selecionar o número de camadas ocultas em uma rede neural: a perda de validação guia a parada antecipada, enquanto o conjunto de teste intocado confirma a generalização antes da implantação. Confundir validação com o conjunto de teste leva ao sobreajuste (overfitting) e a um desempenho ruim em produção.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.