DifficileChoix unique

Question d'entraînement Generative AI Leader

Une équipe affine un grand modèle de langage sur des données personnalisées à l'aide de Vertex AI. Elle constate que la perte d'entraînement diminue mais que la perte de validation augmente. Quelle est la meilleure ligne de conduite ?

Choisissez la meilleure réponse.

Bonne réponse

  • BRéduire la taille du modèle ou ajouter une régularisation par abandon.

Explication

L'augmentation de la perte de validation alors que la perte d'entraînement diminue est un signe classique de surapprentissage, où le modèle mémorise les données d'entraînement mais ne parvient pas à généraliser. Réduire la taille du modèle ou ajouter une régularisation par abandon combat directement le surapprentissage en limitant la capacité du modèle ou en introduisant du bruit pendant l'entraînement, ce qui force le modèle à apprendre des caractéristiques plus robustes. C'est la meilleure ligne de conduite car elle s'attaque à la cause racine sans aggraver le problème.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter le nombre d'époques d'entraînement.

La divergence entre la perte d'entraînement et la perte de validation indique un surapprentissage, donc l'ajout d'époques permet au modèle de mémoriser davantage les données personnalisées et creuse l'écart. Davantage d'époques conviennent au sous-apprentissage, où les deux pertes restent élevées et où le modèle n'a pas encore capturé le motif sous-jacent.

B

Juste

Réduire la taille du modèle ou ajouter une régularisation par abandon.

L'ajout d'une régularisation par abandon contrecarre directement le surapprentissage qui fait diverger la perte de validation de la perte d'entraînement. Réduire la capacité du modèle limite de même la mémorisation des données d'affinage personnalisées. Les deux répondent à l'écart de généralisation décrit dans l'énoncé, où la perte d'entraînement diminue tandis que la perte de validation augmente, rétablissant l'alignement entre les deux courbes.

C

Fausse

Augmenter le taux d'apprentissage.

Augmenter le taux d'apprentissage rend les mises à jour des poids plus importantes, ce qui déstabilise une exécution déjà en surapprentissage et peut pousser la perte de validation encore plus haut. Un taux plus élevé est choisi lorsque la perte d'entraînement stagne trop lentement, et non lorsque le modèle mémorise des données et que la généralisation se dégrade.

D

Fausse

Passer à une taille de lot plus petite.

Réduire la taille du lot ajoute du bruit de gradient et aggrave généralement l'écart de surapprentissage au lieu de le combler ; la régularisation, l'abandon ou l'arrêt précoce traitent la divergence. Des lots plus petits sont choisis pour s'ajuster à une mémoire GPU limitée ou pour échapper à des minima aigus, et non pour corriger une perte de validation croissante.

Pour aller plus loin

Le motif décrit — la perte d'entraînement diminue tandis que la perte de validation augmente — est la signature classique du surapprentissage : le modèle mémorise les particularités de l'ensemble d'entraînement au lieu d'apprendre des motifs généralisables. En arrière-plan, cela se produit lorsque le nombre de paramètres ou la capacité effective dépasse ce que l'ensemble de données peut contraindre, de sorte que la descente de gradient continue de réduire le risque empirique tandis que le vrai risque augmente. L'ajout d'une régularisation par abandon met à zéro de manière aléatoire les activations lors de chaque passe avant, forçant le réseau à répartir les représentations et réduisant la co-adaptation ; la réduction de la taille du modèle diminue directement la capacité. Dans Vertex AI, vous ajusteriez ces paramètres via les hyperparamètres du pipeline d'entraînement et surveilleriez les deux courbes de perte dans Vertex AI Experiments ou TensorBoard. Un scénario réaliste : affiner un modèle de base sur quelques milliers d'exemples de domaine, où la perplexité de validation commence à grimper après la deuxième époque ; l'arrêt précoce combiné à la régularisation restaure la généralisation.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.