DifícilMúltipla escolha

Questão de prática de AIF-C01

Exhibit

Refer to the exhibit.
```
{
  "ModelName": "credit-risk-v1",
  "InputName": "features",
  "JobName": "bias-report-20240101",
  "ProcessingJob": {
    "ProcessingResources": {
      "ClusterConfig": {
        "InstanceCount": 1,
        "InstanceType": "ml.m5.large"
      }
    }
  },
  "AppSpecification": {
    "ImageUri": "683313688378.dkr.ecr.us-west-2.amazonaws.com/sagemaker-clarify-processing:1.0"
  },
  "Config": {
    "BiasConfig": {
      "Label": "approved",
      "Facet": ["gender"],
      "GroupVariable": ["age_group"]
    }
  },
  "OutputConfig": {
    "S3OutputPath": "s3://my-bucket/bias-reports/"
  }
}

Um cientista de dados executa o job do SageMaker Clarify mostrado no anexo para um modelo de risco de crédito. Após revisar os resultados, ele encontra uma métrica de viés alta para a faceta de gênero. Qual ação é mais consistente com a IA responsável?

Escolha a melhor resposta.

Resposta correta

  • CInvestigar a causa raiz e retreinar com dados balanceados

Explicação

A IA responsável exige compreender e mitigar o viés em sua origem, e não apenas mascará-lo. Investigar a causa raiz (por exemplo, viés de coleta de dados, viés de rotulagem ou recursos proxy) e retreinar com dados balanceados aborda diretamente a métrica de viés alta detectada pelo SageMaker Clarify, alinhando-se ao princípio de equidade da AWS. Simplesmente remover o atributo de gênero pode não eliminar o viés se outros recursos agirem como proxies, e aumentar o limite não corrige o viés subjacente do modelo.

Por que cada alternativa está certa ou errada

A

Incorreta

Prosseguir com a implantação porque o modelo já está em produção

Implantar apesar de uma métrica de viés alta ignora a constatação e perpetua o impacto disperso na faceta de gênero. A prática de IA responsável exige investigar e mitigar o viés, por exemplo, rebalanceando os dados de treinamento ou ajustando os limites, antes de lançar o modelo.

B

Incorreta

Remover o atributo de gênero dos dados de treinamento e retreinar

Descartar o atributo de gênero não remove o viés, uma vez que variáveis proxy correlacionadas, como código postal ou ocupação, ainda o codificam, e o job do Clarify simplesmente relataria uma faceta diferente. É tentador porque remover um atributo protegido parece anonimização, e seria razoável quando o atributo for genuinamente irrelevante para o destino e nenhuma correlação de proxy existir.

C

Correta

Investigar a causa raiz e retreinar com dados balanceados

A métrica de viés do SageMaker Clarify indica impacto disperso em todo o gênero, portanto, investigar a causa raiz e retreinar com dados balanceados aborda o viés subjacente. Isso satisfaz a IA responsável ao remediar o modelo em vez de apenas documentar ou ignorar o viés medido.

D

Incorreta

Aumentar o limite de aceitação do modelo

Elevar o limite de aceitação desloca o limite de decisão para cortar aprovações, alterando as taxas de erro sem abordar o impacto disperso medido na faceta de gênero. É tentador porque o ajuste de limites é uma alavanca legítima para equilibrar precisão e revocação (recall), e seria correto se o objetivo fosse puramente reduzir falsos positivos em vez de mitigar o viés.

Para se aprofundar

O SageMaker Clarify calcula métricas de viés como diferença nas proporções positivas em rótulos previstos (DPPL) e impacto disperso (disparate impact), comparando resultados em facetas como gênero. Uma métrica de viés alta indica que as previsões do modelo favorecem desproporcionalmente um grupo, o que pode decorrer de dados de treinamento desbalanceados, recursos proxy correlacionados com o gênero ou viés de rótulo. Simplesmente remover o atributo de gênero não resolve o problema porque recursos correlacionados, como código postal ou ocupação, ainda podem codificá-lo, um fenômeno conhecido como redlining. A ação responsável é investigar as causas raiz, depois mitigar rebalanceando os dados, ajustando os limites por grupo ou usando dessensibilização adversarial (adversarial debiasing), e reavaliar. Em um cenário de risco de crédito, implantar um modelo tendencioso pode violar os regulamentos de empréstimo justo, portanto o cientista de dados deve documentar o viés, retreinar com dados balanceados e verificar se métricas como o DPPL caem dentro de limites aceitáveis antes da implantação.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AIF-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.