DifícilMúltipla escolha

Questão de prática de Generative AI Leader

Uma equipe está fazendo o ajuste fino de um modelo de linguagem grande em dados personalizados usando o Vertex AI. Eles descobrem que a perda de treinamento diminui, mas a perda de validação aumenta. Qual é a melhor linha de ação?

Escolha a melhor resposta.

Resposta correta

  • BReduzir o tamanho do modelo ou adicionar regularização de dropout.

Explicação

O aumento da perda de validação enquanto a perda de treinamento diminui é um sinal clássico de overfitting, em que o modelo memoriza os dados de treinamento, mas falha ao generalizar. Reduzir o tamanho do modelo ou adicionar regularização de dropout combate diretamente o overfitting ao limitar a capacidade do modelo ou introduzir ruído durante o treinamento, o que força o modelo a aprender recursos mais robustos. Esta é a melhor linha de ação porque aborda a causa raiz sem exacerbar ainda mais o problema.

Por que cada alternativa está certa ou errada

A

Incorreta

Aumentar o número de épocas de treinamento.

A divergência entre a perda de treinamento e a de validação indica overfitting, portanto, adicionar épocas permite que o modelo memorize ainda mais os dados personalizados e amplia a lacuna. Mais épocas se adequam ao underfitting, onde ambas as perdas permanecem altas e o modelo ainda não capturou o padrão subjacente.

B

Correta

Reduzir o tamanho do modelo ou adicionar regularização de dropout.

Adicionar regularização de dropout contraria diretamente o overfitting que faz com que a perda de validação diverja da perda de treinamento. Reduzir a capacidade do modelo limita da mesma forma a memorização dos dados de ajuste fino personalizados. Ambas abordam a lacuna de generalização que o enunciado descreve, onde a perda de treinamento cai enquanto a perda de validação sobe, restaurando o alinhamento entre as duas curvas.

C

Incorreta

Aumentar a taxa de aprendizado.

Elevar a taxa de aprendizado torna as atualizações de pesos maiores, o que desestabiliza uma execução que já está sofrendo de overfitting e pode elevar ainda mais a perda de validação. Uma taxa mais alta é escolhida quando a perda de treinamento estabiliza muito devagar, e não quando o modelo está memorizando dados e a generalização está se degradando.

D

Incorreta

Mudar para um tamanho de lote menor.

Reduzir o tamanho do lote adiciona ruído de gradiente e normalmente piora a lacuna de overfitting em vez de fechá-la; regularização, dropout ou parada antecipada tratam a divergência. Lotes menores são escolhidos para caber na memória limitada da GPU ou para escapar de mínimos acentuados, e não para corrigir uma perda de validação em ascensão.

Para se aprofundar

O padrão descrito — a perda de treinamento caindo enquanto a perda de validação aumenta — é a assinatura clássica do overfitting: o modelo está memorizando idiossincrasias do conjunto de treinamento em vez de aprender padrões generalizáveis. Internamente, isso acontece quando a contagem de parâmetros ou a capacidade efetiva excede o que o conjunto de dados pode restringir, de modo que o gradiente descendente continua reduzindo o risco empírico enquanto o risco real cresce. Adicionar regularização de dropout zera aleatoriamente as ativações durante cada passagem direta, forçando a rede a distribuir representações e reduzindo a co-adaptação; reduzir o tamanho do modelo diminui a capacidade diretamente. No Vertex AI, você ajustaria esses parâmetros por meio dos hiperparâmetros do pipeline de treinamento e monitoraria ambas as curvas de perda no Vertex AI Experiments ou TensorBoard. Um cenário realista: ajustar finamente um modelo base em alguns milhares de exemplos de domínio, onde a perplexidade de validação começa a subir após a segunda época — a parada antecipada combinada com a regularização restaura a generalização.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.