Évaluateur contextuel
Un Évaluateur Contextuel est un système ou un module conçu pour évaluer la qualité, la pertinence et la justesse d'une sortie générée par une IA en tenant compte des données environnantes, de l'historique des invites (prompts) ou de l'environnement opérationnel. Contrairement aux évaluateurs basés sur des métriques simples (comme les scores BLEU), il juge la qualité de la sortie en fonction de son adéquation sémantique au sein d'un contexte spécifique.
Dans les applications d'IA complexes, une réponse techniquement correcte peut néanmoins être contextuellement erronée. Par exemple, une requête financière répondue sans tenir compte du contexte actuel du portefeuille de l'utilisateur est inutile. Les Évaluateurs Contextuels comblent le fossé entre la précision algorithmique brute et l'utilité pratique dans le monde réel, garantissant que les solutions d'IA sont réellement utiles.
Ces évaluateurs fonctionnent généralement en alimentant un modèle secondaire ou un ensemble de règles sophistiquées avec l'invite originale, la réponse générée et les données contextuelles pertinentes (par exemple, le profil de l'utilisateur, les tours précédents, des extraits de base de connaissances externes). L'évaluateur attribue ensuite une note à la sortie par rapport à des critères contextuels prédéfinis, tels que la cohérence, le respect des contraintes et la pertinence du domaine.
Développer des évaluateurs contextuels robustes est difficile car le « contexte » lui-même peut être ambigu ou massif. Définir des métriques quantifiables pour des qualités subjectives comme l'« adéquation » nécessite un raffinement important en boucle humaine et une ingénierie d'invite minutieuse pour l'évaluateur lui-même.
Les concepts connexes comprennent la Génération Ancrée (Grounded Generation), la Génération Augmentée par Récupération (RAG) et le Score de Similarité Sémantique. Alors que le RAG fournit le contexte, l'Évaluateur Contextuel juge à quel point le modèle utilise ce contexte fourni.
