Questão de prática de AI-102
Consulte a imagem.
{
"content_filters": [
{
"type": "hate",
"action": "block",
"severity": "high"
},
{
"type": "sexual",
"action": "block",
"severity": "medium"
},
{
"type": "self_harm",
"action": "block",
"severity": "low"
}
]
}Você implanta um modelo do Azure OpenAI com a configuração de filtro de conteúdo acima. Um usuário envia um prompt que o sistema classifica como "hate" com o nível de gravidade "medium". O que acontece?
Resposta correta
- AO prompt é permitido porque a gravidade está abaixo do limite.
Explicação
A configuração do filtro de conteúdo bloqueia o conteúdo do tipo 'hate' apenas no nível de gravidade 'high'. Como o prompt do usuário foi classificado como 'hate' com gravidade 'medium', ele fica abaixo do limite configurado e é permitido. Os filtros de conteúdo do Azure OpenAI avaliam os níveis de gravidade (low, medium, high) e aplicam a ação configurada somente quando a gravidade detectada atinge ou supera o limite especificado.
Para se aprofundar
Os filtros de conteúdo do Azure OpenAI operam por categoria com limites de gravidade configuráveis: low, medium e high. A ação é aplicada somente quando a gravidade detectada atinge ou supera o limite configurado. Nesta configuração, 'hate' está definido para bloquear em 'high', portanto, uma classificação de 'hate' com gravidade 'medium' fica abaixo do limite e o prompt prossegue. O conteúdo 'sexual' bloqueia em 'medium' e 'self_harm' bloqueia em 'low', de modo que essas categorias seriam acionadas em gravidades menores. Essa granularidade permite que as organizações ajustem a rigidez por categoria de dano. Uma implicação realista é que uma implantação que bloqueia 'hate' apenas em 'high' ainda permitirá a passagem de conteúdo 'hate' com gravidade 'medium', o que pode entrar em conflito com políticas internas mais rígidas e exigir o ajuste do limite para 'medium' ou 'low'.
Sobre estas questões de prática
Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.