MédiaVárias respostas

Questão de prática de AI-102

Você está implantando um modelo de classificação de texto personalizado do Azure AI Language. Você precisa garantir que o modelo atenda aos requisitos de desempenho antes de promovê-lo para produção. Quais duas ações você deve tomar? (Escolha duas).

Escolha todas as respostas corretas.

Respostas corretas

  • AAvalie o modelo em um conjunto de teste separado que não foi usado durante o treinamento.
  • BRevise a matriz de confusão para entender quais classes são classificadas incorretamente com frequência.

Explicação

A opção A está correta porque avaliar o modelo de classificação de texto personalizado em um conjunto de teste separado que não foi usado durante o treinamento fornece uma estimativa imparcial do desempenho de generalização, o que é essencial antes de promover o modelo para produção. A opção B está correta porque revisar a matriz de confusão revela padrões de precisão e revocação (recall) por classe e mostra exatamente quais classes são frequentemente classificadas incorretamente, permitindo melhorias direcionadas nos dados ou rótulos. A opção C está incorreta porque o Azure AI Language não exige um limite de acurácia fixo de 95% em uma divisão de validação cruzada; as metas de desempenho são específicas do cenário e a validação cruzada não é o fluxo de trabalho de avaliação padrão para este serviço. A opção D está incorreta porque calcular a acurácia no conjunto de treinamento mede a memorização em vez da generalização e será otimisticamente tendenciosa. A opção E está incorreta porque comparar com uma linha de base de classe majoritária é uma verificação de sanidade útil, mas não é uma ação necessária antes da promoção; a pergunta pede ações para garantir os requisitos de desempenho.

Por que cada alternativa está certa ou errada

A

Correta

Avalie o modelo em um conjunto de teste separado que não foi usado durante o treinamento.

Avaliar em um conjunto de teste separado nunca visto durante o treinamento produz pontuações imparciais de precisão, revocação (recall) e F1, confirmando que o modelo generaliza em vez de memorizar os dados de treinamento. Esta barreira de validação deve ser aprovada antes da promoção para produção, satisfazendo o requisito de verificação de desempenho.

B

Correta

Revise a matriz de confusão para entender quais classes são classificadas incorretamente com frequência.

A matriz de confusão expõe a precisão e a revocação (recall) por classe, revelando quais categorias o modelo confunde mais frequentemente. Revisá-la atende diretamente ao requisito do enunciado de verificar o desempenho antes da promoção, uma vez que as métricas agregadas sozinhas ocultam fraquezas no nível de classe que afetariam a precisão em produção.

C

Incorreta

Certifique-se de que o modelo alcance pelo menos 95% de acurácia em uma divisão de validação cruzada.

A acurácia sozinha pode ser enganosa, especialmente com classes desbalanceadas; precisão e revocação (recall) são mais importantes.

D

Incorreta

Use o conjunto de treinamento para calcular a acurácia e garanta que ela esteja acima de 90%.

O desempenho no conjunto de treinamento é inflado e não reflete a generalização.

E

Incorreta

Compare o desempenho do modelo com um modelo de linha de base que sempre prevê a classe mais comum.

Embora a comparação com uma linha de base seja útil, não é uma ação obrigatória antes da promoção; a pergunta pede ações para garantir os requisitos de desempenho.

Para se aprofundar

A classificação de texto personalizado do Azure AI Language treina um modelo em enunciados rotulados e relata precisão, revocação (recall) e pontuação F1 por classe. Avaliar em um conjunto de teste separado que nunca foi visto durante o treinamento fornece uma estimativa imparcial da generalização, enquanto inspecionar a matriz de confusão revela confusões sistemáticas entre pares de classes específicos, orientando aumentos de dados ou limpeza de rótulos. O cálculo da acurácia no conjunto de treinamento é enganoso porque mede a memorização, não a generalização, e um limite fixo de 95% é arbitrário e não é um requisito documentado. Uma linha de base de classe majoritária é um contexto útil, mas não é uma das duas ações de validação necessárias. na prática, a baixa revocação por classe em uma classe rara geralmente importa mais do que a acurácia geral, especialmente em cenários de classificação desbalanceados.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.