DifficileChoix unique

Question d'entraînement MLA-C01

Exhibit

{
    "DebugHookConfig": {
        "S3OutputPath": "s3://my-bucket/debug/",
        "CollectionConfigurations": [
            {"CollectionName": "losses"},
            {"CollectionName": "gradients"}
        ]
    },
    "DebugRuleConfigurations": [
        {
            "RuleConfigurationName": "Overfitting",
            "RuleEvaluatorImage": "...",
            "InstanceType": "ml.t3.medium",
            "VolumeSizeInGB": 5
        }
    ]
}

Reportez-vous à l'annexe. Un data scientist a configuré SageMaker Debugger pour surveiller l'entraînement à la recherche de surapprentissage (overfitting). Cependant, la règle ne se déclenche jamais alors que le modèle semble être en surapprentissage. Quelle est la raison la plus probable ?

Choisissez la meilleure réponse.

Bonne réponse

  • ALe debug hook ne collecte pas la perte de validation

Explication

SageMaker Debugger surveille l'entraînement en collectant des tenseurs (par exemple, perte, précision) via un debug hook. La règle de détection du surapprentissage compare généralement la perte d'entraînement à la perte de validation. Si le hook n'est pas configuré pour collecter les tenseurs de perte de validation, la règle n'a aucune donnée à évaluer et ne se déclenchera jamais, même si un surapprentissage se produit. C'est la raison la plus probable car la règle dépend de l'enregistrement de noms de tenseurs spécifiques.

Pourquoi chaque option est juste ou fausse

A

Juste

Le debug hook ne collecte pas la perte de validation

La règle de surapprentissage de SageMaker Debugger compare la perte d'entraînement à la perte de validation, elle a donc besoin que les deux tenseurs soient collectés via le debug hook. Si le hook ne capture que la perte d'entraînement, la règle n'a aucun signal de validation à évaluer et ne se déclenche jamais, même lorsque le modèle est réellement en surapprentissage.

B

Fausse

Le type d'instance pour la règle est trop petit

Les instances de règle n'évaluent que les tenseurs émis, donc une instance sous-dimensionnée ralentirait ou ferait planter l'évaluation, et ne supprimerait pas silencieusement un déclencheur. C'est tentant car les pénuries de ressources provoquent des échecs de règles, mais les règles de surapprentissage dépendent des données de tenseur et des seuils, et non de la capacité de calcul.

C

Fausse

Le chemin de sortie S3 n'est pas accessible en écriture

Un chemin S3 non accessible en écriture générerait des erreurs d'écriture ou d'autorisation pendant le travail d'entraînement, et ne laisserait pas la règle s'exécuter sans jamais se déclencher. C'est tentant car une mauvaise configuration de sortie casse le Debugger, mais le symptôme ici est une règle qui s'exécute sans se déclencher, indiquant une inadéquation de règle ou de configuration.

D

Fausse

L'image de l'évaluateur de règle est incorrecte

Une image d'évaluateur de règle incorrecte empêcherait le conteneur de règle de s'exécuter du tout, produisant des erreurs plutôt qu'une absence de déclenchement silencieuse. C'est tentant car les problèmes d'image cassent les règles, mais ils apparaissent comme des échecs ; une règle qui s'exécute proprement mais ne se déclenche jamais pointe vers la configuration ou les paramètres de la règle.

Pour aller plus loin

Les règles SageMaker Debugger telles que la règle de surapprentissage comparent la perte d'entraînement à la perte de validation ou d'évaluation, la configuration du hook doit donc émettre les deux tenseurs. Si le script d'entraînement n'enregistre que la perte d'entraînement, la règle n'a rien à comparer et reste silencieuse même lorsque le modèle est clairement en surapprentissage. Le hook est configuré via la bibliothèque smdebug, et les collections telles que les pertes et les métriques doivent être enregistrées avec save_scalar ou un appel similaire à l'étape appropriée. Un comportement subtil est qu'une règle peut également ne pas se déclencher si le tenseur est enregistré sous un nom que la règle n'attend pas, ou si l'étape de début de la règle est postérieure à la dernière étape enregistrée. En pratique, un data scientist qui débogue cela devrait inspecter la sortie de Debugger dans S3 pour confirmer que les pertes d'entraînement et de validation sont présentes avant de suspecter l'image de la règle ou la taille de l'instance.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.