MédiaMúltipla escolha

Questão de prática de Generative AI Leader

Uma empresa faz o fine-tuning de um modelo de texto em políticas internas de RH. Após a implantação, o modelo às vezes gera informações confidenciais de funcionários. Qual é a causa mais provável?

Escolha a melhor resposta.

Resposta correta

  • AO conjunto de dados de fine-tuning continha informações de identificação pessoal que não foram removidas.

Explicação

A causa mais provável é que o conjunto de dados de fine-tuning continha informações de identificação pessoal (PII) que não foram devidamente limpas. Durante o fine-tuning, o modelo aprende padrões e memoriza sequências específicas dos dados de treinamento. Se o conjunto de dados incluir registros confidenciais de funcionários, o modelo poderá reproduzir essa informação de forma literal quando solicitado, levando ao vazamento de dados. Esse é um risco bem conhecido no fine-tuning, pois os modelos podem sofrer overfitting em exemplos raros ou exclusivos no conjunto de treinamento.

Por que cada alternativa está certa ou errada

A

Correta

O conjunto de dados de fine-tuning continha informações de identificação pessoal que não foram removidas.

O fine-tuning incorpora o corpus de treinamento nos pesos do modelo, portanto, qualquer informação de identificação pessoal deixada no conjunto de dados de políticas de RH pode ser reproduzida literalmente na inferência. A restrição do problema é que dados confidenciais de funcionários aparecem nas saídas; a remoção de PII antes do fine-tuning evita essa memorização, uma vez que nenhuma camada de filtragem existe posteriormente.

B

Incorreta

O modelo não foi treinado com aprendizado por reforço a partir de feedback humano (RLHF).

O RLHF alinha as respostas com as preferências humanas; ele não remove dados de treinamento confidenciais, de modo que os detalhes memorizados dos funcionários ainda aparecem. O RLHF é adequado para melhorar a utilidade e o comportamento de segurança. O vazamento decorre do fine-tuning em registros de RH não filtrados contendo dados pessoais.

C

Incorreta

O modelo tem parâmetros insuficientes para generalizar adequadamente.

A contagem de parâmetros rege a capacidade de aprender padrões, não quais dados de treinamento o modelo reproduz. O fine-tuning em políticas de RH incorpora esses registros nos pesos, de modo que os detalhes memorizados dos funcionários aparecem independentemente do tamanho do modelo. Escalar parâmetros é o remédio para o underfitting em tarefas complexas, não para vazamento de dados.

D

Incorreta

A engenharia de prompts era muito prolixa e incluía instruções enganosas.

Prompts prolixos moldam o tom e a adesão a instruções, mas não podem injetar registros de funcionários que o modelo nunca aprendeu. O vazamento se origina no próprio conjunto de dados de fine-tuning, onde o conteúdo sensível de RH foi embutido nos pesos. A engenharia de prompts é a alavanca certa para direcionar o comportamento, não para remover dados de treinamento memorizados.

Para se aprofundar

O fine-tuning ajusta os pesos de um modelo pré-treinado via descrescente de gradiente no seu conjunto de dados, de modo que qualquer PII presente nesses dados se torne estatisticamente codificada nos parâmetros e possa ser reproduzida literalmente na inferência. Ao contrário da geração aumentada por recuperação (RAG), onde os registros confidenciais permanecem em um armazenamento externo que você pode revogar, o fine-tuning insere informações no próprio modelo, tornando a remoção difícil sem re-treinamento ou técnicas de machine unlearning. O RLHF molda o estilo e as preferências de alinhamento, mas não limpa fatos memorizados, e a contagem de parâmetros não está relacionada a vazamentos. Um caso realista: um chatbot de RH ajustado em arquivos de casos não redigidos recita posteriormente o salário de um funcionário e detalhes de licença médica quando solicitado com um nome, criando um incidente de privacidade e exposição regulatória sob GDPR ou HIPAA.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.