DifícilMúltipla escolha

Questão de prática de MLA-C01

Exhibit

{
    "DebugHookConfig": {
        "S3OutputPath": "s3://my-bucket/debug/",
        "CollectionConfigurations": [
            {"CollectionName": "losses"},
            {"CollectionName": "gradients"}
        ]
    },
    "DebugRuleConfigurations": [
        {
            "RuleConfigurationName": "Overfitting",
            "RuleEvaluatorImage": "...",
            "InstanceType": "ml.t3.medium",
            "VolumeSizeInGB": 5
        }
    ]
}

Consulte o anexo. Um cientista de dados configurou o SageMaker Debugger para monitorar o treinamento em busca de sobreajuste (overfitting). No entanto, a regra nunca é acionada, embora o modelo pareça estar com sobreajuste. Qual é a razão mais provável?

Escolha a melhor resposta.

Resposta correta

  • AO debug hook não está coletando a perda de validação

Explicação

O SageMaker Debugger monitora o treinamento coletando tensores (por exemplo, perda, precisão) por meio de um debug hook. A regra para detectar sobreajuste geralmente compara a perda de treinamento com a perda de validação. Se o hook não estiver configurado para coletar tensores de perda de validação, a regra não terá dados para avaliar e nunca será acionada, mesmo que ocorra sobreajuste. Esta é a razão mais provável porque a regra depende de nomes de tensores específicos sendo salvos.

Por que cada alternativa está certa ou errada

A

Correta

O debug hook não está coletando a perda de validação

A regra de sobreajuste do SageMaker Debugger compara a perda de treinamento com a perda de validação, portanto, ela precisa que ambos os tensores sejam coletados por meio do debug hook. Se o hook capturar apenas a perda de treinamento, a regra não terá sinal de validação para avaliar e nunca será disparada, mesmo quando o modelo realmente apresentar sobreajuste.

B

Incorreta

O tipo de instância para a regra é muito pequeno

As instâncias de regra apenas avaliam os tensores emitidos, portanto, uma instância subdimensionada atrasaria ou travaria a avaliação, não suprimiria silenciosamente um gatilho. É tentador porque a escassez de recursos causa falhas nas regras, mas as regras de sobreajuste dependem de dados de tensor e limites, não de capacidade computacional.

C

Incorreta

O caminho de saída do S3 não pode ser gravado

Um caminho S3 não gravável geraria erros de gravação ou permissão durante o trabalho de treinamento, não permitiria que a regra fosse executada e simplesmente nunca disparasse. É tentador porque a configuração incorreta da saída quebra o Debugger, mas o sintoma aqui é uma regra que é executada sem disparar, indicando uma incompatibilidade de regra ou configuração.

D

Incorreta

A imagem do avaliador de regras está incorreta

Uma imagem de avaliador de regras incorreta impediria que o contêiner de regras fosse executado, produzindo erros em vez de não disparar silenciosamente. É tentador porque problemas de imagem quebram regras, mas eles surgem como falhas; uma regra que é executada de forma limpa, mas nunca dispara, aponta para a configuração ou os parâmetros da regra.

Para se aprofundar

As regras do SageMaker Debugger, como a regra de sobreajuste, comparam a perda de treinamento com a perda de validação ou avaliação, portanto, a configuração do hook deve emitir ambos os tensores. Se o script de treinamento registrar apenas a perda de treinamento, a regra não terá nada para comparar e permanecerá silenciosa mesmo quando o modelo claramente apresentar sobreajuste. O hook é configurado por meio da biblioteca smdebug, e coleções como perdas e métricas devem ser salvas com save_scalar ou uma chamada semelhante na etapa apropriada. Um comportamento sutil é que uma regra também pode falhar ao ser acionada se o tensor for salvo com um nome que a regra não espera, ou se a etapa inicial da regra for posterior à última etapa registrada. Na prática, um cientista de dados que depure isso deve inspecionar a saída do Debugger no S3 para confirmar se as perdas de treinamento e validação estão presentes antes de suspeitar da imagem da regra ou do tamanho da instância.

Sobre estas questões de prática

Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.