DifícilMúltipla escolha

Questão de prática de MLA-C01

Um engenheiro de machine learning está construindo um modelo de previsão de séries temporais para prever as vendas diárias para os próximos 30 dias. O conjunto de dados abrange dois anos de dados de vendas diárias. Para avaliar o desempenho do modelo, o engenheiro precisa simular um cenário de previsão realista onde o modelo é treinado em dados passados e testado em dados futuros sem vazamento. Qual estratégia de divisão de dados eles devem usar?

Escolha a melhor resposta.

Resposta correta

  • BValidação walk-forward com uma janela expansível

Explicação

A validação walk-forward com uma janela expansível respeita a ordem temporal dos dados de séries temporais ao treinar em todos os dados até o tempo t e testar no próximo período, expandindo então o conjunto de treinamento para frente. Isso simula o cenário de previsão real onde o modelo vê apenas dados passados ao prever o futuro, e evita o vazamento que divisões aleatórias introduziriam. Para um horizonte de previsão de 30 dias em dois anos de dados diários, esta é a abordagem padrão.

Por que cada alternativa está certa ou errada

A

Incorreta

Validação hold-out usando uma divisão aleatória 80/20

Uma divisão aleatória 80/20 mistura dias dos dois anos, então o modelo treina em dias que vêm após alguns dias de teste e aprende informações sobre o futuro. Recursos defasados e móveis também vazam através da divisão. As pontuações parecem melhores que o desempenho real, porque em produção o modelo vê apenas o passado. A avaliação de séries temporais precisa de divisões cronológicas.

B

Correta

Validação walk-forward com uma janela expansível

A validação walk-forward treina em dados até um ponto de corte, prevê os próximos 30 dias, registra o erro, então move o ponto de corte para frente, adicionando os novos dados ao treinamento, e repete. Ela reflete como o modelo será usado e retreinado, mostra o desempenho em diferentes períodos, incluindo picos sazonais, e nunca deixa dados futuros entrarem no treinamento. Adicione um intervalo entre os conjuntos ao usar recursos defasados.

C

Incorreta

Amostragem estratificada baseada no volume de vendas

A amostragem estratificada mantém as proporções de uma categoria, como classes ou faixas de vendas, iguais entre as divisões, o que ajuda com classificação desequilibrada. Ela ainda atribui dias às divisões aleatoriamente, ignorando a ordem temporal, então dias futuros acabam no treinamento. Para previsão, a ordem das observações importa mais do que equilibrar seus valores.

D

Incorreta

Validação cruzada k-fold com embaralhamento aleatório

A validação cruzada k-fold embaralhada assume que as observações são independentes e intercambiáveis, o que séries temporais não são. Cada dobra treinaria em dias após seus dias de teste, vazando o futuro. A validação cruzada de séries temporais, como o TimeSeriesSplit do scikit-learn, mantém cada janela de validação após sua janela de treinamento, dando uma estimativa honesta da precisão da previsão. O embaralhamento deve ser evitado para qualquer dado com uma ordem temporal.

Para se aprofundar

Dados de séries temporais têm uma ordem que importa: cada observação depende do que veio antes, e no uso real o modelo sempre prevê o futuro a partir do passado. A divisão aleatória quebra isso, pois os dados de treinamento incluem dias após alguns dias de teste, então o modelo efetivamente vê o futuro, e recursos como defasagens ou médias móveis vazam informações através da divisão. As pontuações resultantes são otimistas e irreais. A validação walk-forward, também chamada de rolling-origin ou validação cruzada de séries temporais, respeita a ordem. Com uma janela expansível, você treina em dados até um ponto, por exemplo, os primeiros 12 meses, prevê o próximo horizonte, os próximos 30 dias, registra o erro, então move o ponto de corte para frente, adiciona os novos dados ao treinamento e repete. Tirar a média dos erros entre as dobras mostra como o modelo se comporta em diferentes momentos, incluindo períodos sazonais, e reflete como ele será retreinado em produção. Essa é a opção B. Uma janela deslizante, que mantém o comprimento do treinamento fixo, é uma alternativa quando dados mais antigos se tornam menos relevantes. Use métricas adequadas para previsão, como MAPE, erro percentual absoluto ponderado ou RMSE, e compare com uma linha de base ingênua, como o mesmo dia do ano passado. Adicione também um intervalo entre os conjuntos de treinamento e teste quando os recursos usam valores defasados, para que nenhuma informação cruze a fronteira. Os distratores todos embaralham o tempo. Uma divisão aleatória 80/20 (opção A), amostragem estratificada (opção C) e k-fold embaralhado (opção D) misturam dados passados e futuros. O TimeSeriesSplit do scikit-learn implementa divisões de janela expansível, e o backtesting estilo SageMaker Canvas e Amazon Forecast funciona no mesmo princípio.

Sobre estas questões de prática

Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.