MoyenneChoix unique

Question d'entraînement Generative AI Leader

Un développeur utilise Vertex AI Gemini API pour un chatbot. Le chatbot génère parfois du contenu nuisible. Quelle est la meilleure première étape pour atténuer cela ?

Choisissez la meilleure réponse.

Bonne réponse

  • CUtiliser des filtres de sécurité et des paramètres de sécurité dans la requête de l'API

Explication

L'API Vertex AI Gemini fournit des filtres de sécurité intégrés et des paramètres de sécurité configurables (par exemple, le paramètre `safety_settings` avec des catégories telles que `HARM_CATEGORY_HARASSMENT` et des seuils tels que `BLOCK_ONLY_HIGH`) qui permettent aux développeurs de bloquer les sorties nuisibles au moment de l'inférence sans réentraînement. Il s'agit de la première étape la plus rapide et la plus directe pour atténuer le contenu nuisible, car elle ne nécessite aucune infrastructure supplémentaire ni modification du modèle.

Pourquoi chaque option est juste ou fausse

A

Fausse

Affiner le modèle (fine-tuning) sur des données sécurisées triées sur le volet

Le réglage fin modifie les poids du modèle pour l'adaptation à une tâche ou à un style ; il n'applique pas les filtres de sécurité configurables ni les seuils qui bloquent les sorties nuisibles lors de l'inférence. C'est tentant car les données triées ressemblent à une solution durable, et ce serait correct lorsque l'objectif est un comportement spécifique à un domaine, et non la sécurité du contenu.

B

Fausse

Ajouter un examen humain dans la boucle (human-in-the-loop)

L'examen humain intercepte les sorties après la génération, de sorte que le contenu nuisible atteint toujours les utilisateurs avant que quiconque ne le vérifie. C'est tentant car l'examen détecte les cas limites, et ce serait correct lorsque des décisions à faible volume et à fort enjeu justifient un contrôle par réponse plutôt qu'un filtrage automatisé au niveau de la couche API.

C

Juste

Utiliser des filtres de sécurité et des paramètres de sécurité dans la requête de l'API

Les filtres de sécurité et les paramètres de sécurité sont appliqués par requête API, permettant au développeur de bloquer les catégories nuisibles avant que les réponses n'atteignent les utilisateurs. C'est l'atténuation la plus rapide, ne nécessitant aucun réentraînement ni changement architectural du chatbot Gemini.

D

Fausse

Passer à un modèle plus petit

La taille du modèle ne détermine pas le comportement de sécurité ; une variante plus petite de Gemini peut toujours émettre du contenu nuisible et peut dégrader la qualité. C'est tentant car les modèles plus petits sont moins chers et plus rapides, et ce serait correct lorsque l'exigence est de réduire la latence ou le coût, et non d'atténuer les sorties non sécurisées.

Pour aller plus loin

Les requêtes de l'API Gemini transportent des paramètres de sécurité qui associent des catégories de préjudice telles que le harcèlement, les discours haineux, le contenu sexuellement explicite et le contenu dangereux à des seuils de blocage, et le modèle applique ces filtres pendant la génération. Définir les seuils sur BLOCK_MEDIUM_AND_ABOVE ou BLOCK_LOW_AND_ABOVE entraîne l'arrêt des réponses qui déclenchent une catégorie et leur renvoi avec une note de sécurité et un motif de fin, que l'application peut consigner ou acheminer vers un message de secours. Il s'agit d'une modification de configuration et non d'entraînement, elle prend donc effet immédiatement sans réentraînement ni latence supplémentaire. Le réglage fin (fine-tuning) et la révision humaine sont des recours plus lourds réservés aux cas où les filtres seuls ne peuvent pas respecter la politique.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement Generative AI Leader originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.