MédiaMúltipla escolha

Questão de prática de Generative AI Leader

Uma empresa implanta um grande modelo de linguagem (LLM) para sumarização de documentos internos. Os usuários reclamam que os resumos às vezes incluem declarações que não estão presentes no documento original. Qual estratégia de mitigação a equipe deve priorizar para resolver esse problema de alucinação?

Escolha a melhor resposta.

Resposta correta

  • BImplementar a geração aumentada por recuperação (RAG) para fundamentar o modelo nos documentos originais e exigir citações.

Explicação

A Geração Aumentada por Recuperação (RAG) é a mitigação mais direta e eficaz para a alucinação na sumarización de documentos porque força o LLM a basear sua saída em trechos recuperados do documento original. Ao exigir citações, o modelo deve fazer referência a passagens específicas, tornando-o verificável e reduzindo a probabilidade de fabricar conteúdo. Isso fundamenta a geração no material de origem, abordando a causa raiz da alucinação — a falta de fundamentação fática — em vez de depender de correção posterior ou ajuste de saída.

Por que cada alternativa está certa ou errada

A

Incorreta

Treinar um modelo discriminador para detectar alucinações e realizar treinamento adversarial.

O treinamento de um discriminador com treinamento adversarial é um pipeline intensivo em pesquisa que requer dados de alucinação rotulados e retreinamento, o que não restringe diretamente a decodificação do sumarizador. É tentador porque os métodos adversariais endurecem os classificadores contra entradas adulteradas, e seria adequado para testes de robustez em vez de fundamentar resumos nos documentos de origem.

B

Correta

Implementar a geração aumentada por recuperação (RAG) para fundamentar o modelo nos documentos originais e exigir citações.

A geração aumentada por recuperação fundamenta cada resumo em passagens recuperadas do documento original, para que o modelo condicione sua saída em texto real em vez de apenas na memória paramétrica. Exigir citações força a atribuição verificável, satisfazendo diretamente a restrição do enunciado de que os resumos não devem conter declarações ausentes do original.

C

Incorreta

Aplicar aprendizado por reforço a partir de feedback humano (RLHF) usando um modelo de recompensa que penalize alucinações.

O RLHF com um modelo de recompensa que penaliza alucinações requer anotação de preferência humana em grande escala e ajuste fino completo do modelo, um ciclo lento e custoso que não garante fidelidade na inferência. É tentador porque o RLHF alinha o comportamento do modelo amplamente, e estaria correto para ajustar o tom, a utilidade ou o comportamento de recusa em muitas interações.

D

Incorreta

Reduzir o parâmetro de temperatura do modelo para 0 para tornar as saídas determinísticas.

A temperatura 0 torna a decodificação gulosa e repetível, mas o determinismo não impede que o modelo afirme fatos não suportados; os mesmos tokens incorretos são produzidos todas as vezes. É tentador porque a temperatura baixa restringe o desvio criativo, e estaria correto quando a redação consistente e reprodutível importa mais do que a base fática.

Para se aprofundar

O RAG funciona incorporando os documentos de origem em um banco de dados vetorial; em seguida, no momento da inferência, recupera os principais trechos mais relevantes por meio de busca por similaridade de cosseno (por exemplo, usando o FAISS) e os insere no início do prompt do LLM como contexto. Isso restringe efetivamente o espaço de saída do modelo às informações presentes nos trechos recuperados, e exigir citações (por exemplo, 'De acordo com a seção 3.2...') permite que revisores humanos verifiquem a fidelidade. Na prática, mesmo com o RAG, ainda podem ocorrer alucinações se a etapa de recuperação falhar em retornar trechos relevantes ou se o LLM ignorar o contexto fornecido, portanto, o tamanho do trecho e a sobreposição devem ser ajustados com cuidado.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.