Bonne réponse
- BRéduire la taille du modèle ou ajouter une régularisation par abandon.
Explication
L'augmentation de la perte de validation alors que la perte d'entraînement diminue est un signe classique de surapprentissage, où le modèle mémorise les données d'entraînement mais ne parvient pas à généraliser. Réduire la taille du modèle ou ajouter une régularisation par abandon combat directement le surapprentissage en limitant la capacité du modèle ou en introduisant du bruit pendant l'entraînement, ce qui force le modèle à apprendre des caractéristiques plus robustes. C'est la meilleure ligne de conduite car elle s'attaque à la cause racine sans aggraver le problème.
Pour aller plus loin
Le motif décrit — la perte d'entraînement diminue tandis que la perte de validation augmente — est la signature classique du surapprentissage : le modèle mémorise les particularités de l'ensemble d'entraînement au lieu d'apprendre des motifs généralisables. En arrière-plan, cela se produit lorsque le nombre de paramètres ou la capacité effective dépasse ce que l'ensemble de données peut contraindre, de sorte que la descente de gradient continue de réduire le risque empirique tandis que le vrai risque augmente. L'ajout d'une régularisation par abandon met à zéro de manière aléatoire les activations lors de chaque passe avant, forçant le réseau à répartir les représentations et réduisant la co-adaptation ; la réduction de la taille du modèle diminue directement la capacité. Dans Vertex AI, vous ajusteriez ces paramètres via les hyperparamètres du pipeline d'entraînement et surveilleriez les deux courbes de perte dans Vertex AI Experiments ou TensorBoard. Un scénario réaliste : affiner un modèle de base sur quelques milliers d'exemples de domaine, où la perplexité de validation commence à grimper après la deuxième époque ; l'arrêt précoce combiné à la régularisation restaure la généralisation.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.