Resposta correta
Explicação
O Azure AI Content Safety foi projetado especificamente para detectar e filtrar conteúdo prejudicial ou ofensivo em texto e imagens, tornando-o o serviço apropriado para integração com um aplicativo de chat do Azure OpenAI para aplicar políticas de segurança de conteúdo. Ele fornece APIs para moderação de conteúdo, incluindo filtragem baseada em gravidade para categorias de ódio, automutilação, conteúdo sexual e violência, o que atende diretamente ao requisito de impedir que o modelo gere saídas prejudiciais.
Para se aprofundar
O Azure AI Content Safety fornece APIs de moderação dedicadas, incluindo análise de texto para categorias de ódio, violência, sexual e automutilação com limites de gravidade configuráveis, além de proteção para prompts (prompt shields) e detecção de fundamentação (groundedness detection). Quando integrado ao Azure OpenAI, os filtros de conteúdo podem ser atribuídos a uma implantação para que os prompts e as conclusões (completions) sejam avaliados antes de serem retornados ao aplicativo de chat. Isso é separado do Azure AI Language, que lida com reconhecimento de entidades e análise de sentimentos, e do Bot Service ou AI Search, que lidam com orquestração de conversas e recuperação. Um cenário realista é um bot de suporte ao cliente onde tentativas de fuga (jailbreak) e saídas ofensivas devem ser bloqueadas e registradas; o Content Safety retorna gravidades de categoria que o aplicativo pode usar para recusar ou escalar as respostas.
Sobre estas questões de prática
Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.