MédiaMúltipla escolha

Questão de prática de Generative AI Leader

Um desenvolvedor está usando a Vertex AI Gemini API para um chatbot. O chatbot às vezes gera conteúdo prejudicial. Qual é a melhor primeira etapa para mitigar isso?

Escolha a melhor resposta.

Resposta correta

  • CUsar filtros de segurança e configurações de segurança na solicitação da API

Explicação

A Vertex AI Gemini API fornece filtros de segurança integrados e configurações de segurança configuráveis (por exemplo, o parâmetro `safety_settings` com categorias como `HARM_CATEGORY_HARASSMENT` e limites como `BLOCK_ONLY_HIGH`) que permitem aos desenvolvedores bloquear saídas prejudiciais no momento da inferência sem retreinamento. Esta é a primeira etapa mais rápida e direta para mitigar conteúdo prejudicial, pois não requer infraestrutura adicional ou modificação do modelo.

Por que cada alternativa está certa ou errada

A

Incorreta

Ajustar o modelo (fine-tune) em dados seguros selecionados

O ajuste fino altera os pesos do modelo para adaptação de tarefa ou estilo; ele não aplica os filtros de segurança configuráveis e os limites que bloqueiam saídas prejudiciais na inferência. É tentador porque os dados selecionados parecem uma correção durável, e estaria correto quando o objetivo for comportamento específico de domínio, e não segurança de conteúdo.

B

Incorreta

Adicionar revisão humana no loop (human-in-the-loop)

A revisão humana intercepta saídas após a geração, portanto, o conteúdo prejudicial ainda chega aos usuários antes que alguém o verifique. É tentadora porque a revisão pega casos de borda, e estaria correta onde decisões de baixo volume e alto risco justificam verificação por resposta em vez de filtragem automatizada na camada de API.

C

Correta

Usar filtros de segurança e configurações de segurança na solicitação da API

Filtros de segurança e configurações de segurança são aplicados por solicitação de API, permitindo que o desenvolvedor bloqueie categorias prejudiciais antes que as respostas cheguem aos usuários. Esta é a mitigação mais rápida, não exigindo retreinamento ou alteração arquitetônica no chatbot do Gemini.

D

Incorreta

Mudar para um modelo menor

O tamanho do modelo não determina o comportamento de segurança; uma variante menor do Gemini ainda pode emitir conteúdo prejudicial e pode degradar a qualidade. É tentador porque modelos menores são mais baratos e mais rápidos, e estaria correto quando o requisito for reduzir latência ou custo, e não mitigar saídas inseguras.

Para se aprofundar

As solicitações da Gemini API carregam configurações de segurança que mapeiam categorias de danos, como assédio, discurso de ódio, conteúdo sexualmente explícito e conteúdo perigoso, para limites de bloqueio, e o modelo aplica esses filtros durante a geração. Definir os limites como BLOCK_MEDIUM_AND_ABOVE ou BLOCK_LOW_AND_ABOVE faz com que as respostas que acionem uma categoria sejam interrompidas e retornadas com uma classificação de segurança e motivo de término, que o aplicativo pode registrar ou direcionar para uma mensagem de fallback. Esta é uma alteração de configuração, não de treinamento, portanto, entra em vigor imediatamente sem retreinamento ou latência adicional. O ajuste fino (fine-tuning) e a revisão humana são remédios mais pesados reservados para casos em que os filtros sozinhos não conseguem atender à política.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Generative AI Leader da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.