FácilMúltipla escolha

Questão de prática de AI-102

Você está desenvolvendo um aplicativo de chat que usa o Azure OpenAI Service para responder a consultas de clientes. A solução deve garantir que o modelo não gere conteúdo prejudicial ou ofensivo. Qual serviço do Azure AI você deve configurar?

Escolha a melhor resposta.

Resposta correta

  • CAzure AI Content Safety

Explicação

O Azure AI Content Safety foi projetado especificamente para detectar e filtrar conteúdo prejudicial ou ofensivo em texto e imagens, tornando-o o serviço apropriado para integração com um aplicativo de chat do Azure OpenAI para aplicar políticas de segurança de conteúdo. Ele fornece APIs para moderação de conteúdo, incluindo filtragem baseada em gravidade para categorias de ódio, automutilação, conteúdo sexual e violência, o que atende diretamente ao requisito de impedir que o modelo gere saídas prejudiciais.

Por que cada alternativa está certa ou errada

A

Incorreta

Azure AI Bot Service

O Azure AI Bot Service cria e canaliza bots conversacionais; ele não filtra a saída do modelo. A filtragem de segurança de conteúdo é configurada por meio do Azure AI Content Safety, que aplica categorias de dano a prompts e conclusões (completions). O Bot Service tenta porque hospeda experiências de chat, mas ele fornece orquestração, não moderação.

B

Incorreta

Azure AI Search

O Azure AI Search indexa e recupera documentos para fundamentação; ele não pode avaliar ou suprimir saídas de modelos ofensivas. O Azure AI Content Safety fornece os filtros de categorias de dano. O AI Search tenta porque o chat aumentado por recuperação (RAG) comumente o utiliza, mas a indexação de conteúdo não está relacionada à moderação das respostas geradas.

C

Correta

Azure AI Content Safety

O Azure AI Content Safety fornece classificação de danos dedicada em categorias como ódio, violência e automutilação, filtrando tanto os prompts quanto as conclusões (completions). Configurá-lo no endpoint do Azure OpenAI impõe o requisito de que o modelo nunca gere conteúdo prejudicial ou ofensivo.

D

Incorreta

Azure AI Language

O Azure AI Language oferece tarefas de NLP, como análise de sentimentos, reconhecimento de entidades e resumo; ele não intercepta e bloqueia gerações de modelos prejudiciais. O Azure AI Content Safety executa essa filtragem. O AI Language tenta porque analisa texto, mas a análise difere da imposição de limites de segurança em prompts e conclusões (completions).

Para se aprofundar

O Azure AI Content Safety fornece APIs de moderação dedicadas, incluindo análise de texto para categorias de ódio, violência, sexual e automutilação com limites de gravidade configuráveis, além de proteção para prompts (prompt shields) e detecção de fundamentação (groundedness detection). Quando integrado ao Azure OpenAI, os filtros de conteúdo podem ser atribuídos a uma implantação para que os prompts e as conclusões (completions) sejam avaliados antes de serem retornados ao aplicativo de chat. Isso é separado do Azure AI Language, que lida com reconhecimento de entidades e análise de sentimentos, e do Bot Service ou AI Search, que lidam com orquestração de conversas e recuperação. Um cenário realista é um bot de suporte ao cliente onde tentativas de fuga (jailbreak) e saídas ofensivas devem ser bloqueadas e registradas; o Content Safety retorna gravidades de categoria que o aplicativo pode usar para recusar ou escalar as respostas.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.