DifficileChoix unique

Question d'entraînement AIF-C01

Exhibit

Refer to the exhibit.
```
{
  "ModelName": "credit-risk-v1",
  "InputName": "features",
  "JobName": "bias-report-20240101",
  "ProcessingJob": {
    "ProcessingResources": {
      "ClusterConfig": {
        "InstanceCount": 1,
        "InstanceType": "ml.m5.large"
      }
    }
  },
  "AppSpecification": {
    "ImageUri": "683313688378.dkr.ecr.us-west-2.amazonaws.com/sagemaker-clarify-processing:1.0"
  },
  "Config": {
    "BiasConfig": {
      "Label": "approved",
      "Facet": ["gender"],
      "GroupVariable": ["age_group"]
    }
  },
  "OutputConfig": {
    "S3OutputPath": "s3://my-bucket/bias-reports/"
  }
}

Un data scientist exécute le travail SageMaker Clarify présenté dans l'annexe pour un modèle de risque de crédit. Après avoir examiné les résultats, il constate une métrique de biais élevée pour la facette du genre. Quelle action est la plus cohérente avec l'IA responsable ?

Choisissez la meilleure réponse.

Bonne réponse

  • CEnquêter sur la cause racine et réentraîner avec des données équilibrées

Explication

L'IA responsable exige de comprendre et d'atténuer le biais à sa source, et non de le masquer. L'investigation de la cause racine (par exemple, le biais de collecte de données, le biais d'étiquetage ou les caractéristiques proxy) et le réentraînement avec des données équilibrées traitent directement la métrique de biais élevée détectée par SageMaker Clarify, s'alignant sur le principe d'équité d'AWS. Le simple fait de supprimer l'attribut de genre peut ne pas éliminer le biais si d'autres caractéristiques agissent comme des proxys, et l'augmentation du seuil ne corrige pas le biais sous-jacent du modèle.

Pourquoi chaque option est juste ou fausse

A

Fausse

Procéder au déploiement car le modèle est déjà en production

Déployer malgré une métrique de biais élevée ignore la constatation et perpétue l'impact disparate sur la facette du genre. La pratique de l'IA responsable exige d'enquêter sur le biais et de l'atténuer, par exemple en rééquilibrant les données d'entraînement ou en ajustant les seuils, avant de publier le modèle.

B

Fausse

Supprimer l'attribut de genre des données d'entraînement et réentraîner

Supprimer l'attribut de genre n'élimine pas le biais, car des variables proxy corrélées telles que le code postal ou la profession l'encodent toujours, et le travail Clarify rapporterait simplement une autre facette. C'est tentant car la suppression d'un attribut protégé ressemble à une anonymisation, et ce serait raisonnable lorsque l'attribut est réellement non pertinent pour la cible et qu'aucune corrélation de proxy n'existe.

C

Juste

Enquêter sur la cause racine et réentraîner avec des données équilibrées

La métrique de biais de SageMaker Clarify indique un impact disparate sur le genre, de sorte qu'enquêter sur la cause racine et réentraîner avec des données équilibrées s'attaque au biais sous-jacent. Cela satisfait l'IA responsable en remédiant au modèle plutôt qu'en se contentant de documenter ou d'ignorer le biais mesuré.

D

Fausse

Augmenter le seuil d'acceptation du modèle

L'augmentation du seuil d'acceptation déplace la frontière de décision pour réduire les approbations, modifiant les taux d'erreur sans traiter l'impact disparate mesuré sur la facette du genre. C'est tentant car le réglage des seuils est un levier légitime pour équilibrer la précision et le rappel, et ce serait correct si l'objectif était purement de réduire les faux positifs plutôt que d'atténuer le biais.

Pour aller plus loin

SageMaker Clarify calcule des métriques de biais telles que la différence de proportions positives dans les étiquettes prédites (DPPL) et l'impact disparate (disparate impact), en comparant les résultats entre des facettes telles que le genre. Une métrique de biais élevée indique que les prédictions du modèle favorisent de manière disproportionnée un groupe, ce qui peut provenir de données d'entraînement déséquilibrées, de caractéristiques proxy corrélées au genre ou d'un biais d'étiquetage. Le simple fait de supprimer l'attribut de genre ne résout pas le problème car des caractéristiques corrélées telles que le code postal ou la profession peuvent toujours l'encoder, un phénomène connu sous le nom de redlining. L'action responsable consiste à enquêter sur les causes profondes, puis à atténuer le problème en rééquilibrant les données, en ajustant les seuils par groupe ou en utilisant l'atténuation des biais contradictoires (adversarial debiasing), puis à réévaluer. Dans un scénario de risque de crédit, déployer un modèle biaisé pourrait enfreindre les réglementations sur l'équité du crédit, de sorte que le data scientist doit documenter le biais, réentraîner avec des données équilibrées et vérifier que des métriques telles que le DPPL se situent dans des limites acceptables avant le déploiement.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AIF-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.