Définition

Le contexte à court terme fait référence à l'ensemble immédiat et limité d'informations antérieures qu'un modèle d'IA, en particulier un grand modèle linguistique (LLM) ou un agent conversationnel, peut prendre en compte activement lors de la génération de sa prochaine sortie. C'est la « mémoire de travail » du système pour une interaction ou une session spécifique.

Contrairement à la mémoire à long terme, qui stocke de vastes quantités de données historiques, le contexte à court terme est contraint par la fenêtre de contexte fixe du modèle – le nombre maximal de jetons (mots ou sous-mots) qu'il peut traiter simultanément.

Pourquoi c'est important

La qualité et la taille du contexte à court terme dictent directement la cohérence, la pertinence et l'exactitude des réponses d'une IA. Si la fenêtre de contexte est trop petite, le modèle « oublie » les parties antérieures de la conversation, ce qui entraîne des résultats absurdes ou répétitifs. Une gestion efficace du contexte est cruciale pour construire des expériences conversationnelles fiables et humaines.

Comment cela fonctionne

Lorsqu'un utilisateur saisit une invite, le système regroupe cette invite avec les tours de dialogue précédents (l'historique de la conversation) en une seule séquence d'entrée. Cette séquence, qui constitue le contexte à court terme, est transmise à l'architecture transformeur. Le modèle utilise ensuite des mécanismes d'attention pour pondérer l'importance de chaque jeton au sein de cette fenêtre limitée afin de prédire le jeton le plus probable suivant.

Cas d'utilisation courants

• Chatbots et assistants virtuels : Maintien de la pertinence thématique à travers plusieurs échanges aller-retour.
• Génération de code : Mémorisation des définitions de variables ou des signatures de fonctions fournies plus tôt dans l'invite.
• Résumé : Assurer que le résumé reflète fidèlement les points clés présentés dans le document source immédiat.
• Suivi de l'état de dialogue : Garder une trace des préférences ou des contraintes de l'utilisateur mentionnées il y a quelques instants.

Avantages clés

• Cohérence : Assure que l'IA reste sur le sujet et maintient le flux conversationnel.
• Pertinence : Permet au modèle d'adapter ses réponses en fonction de l'historique d'entrée immédiat.
• Efficacité : Le traitement d'une fenêtre de contexte bornée est plus efficace sur le plan informatique que d'essayer de charger l'historique complet d'une base de données.

Défis

• Limites de la fenêtre de contexte : La limite stricte sur les jetons restreint la profondeur du raisonnement complexe et multi-étapes.
• Saturation du contexte (Context Stuffing) : Surcharger le contexte avec des données non pertinentes peut diluer le signal, entraînant une performance médiocre.
• Latence : Le traitement de fenêtres de contexte plus longues augmente la charge informatique et le temps de réponse.

Concepts connexes

• Mémoire à long terme : Bases de données externes ou magasins de vecteurs utilisés pour récupérer des informations en dehors de la fenêtre de contexte immédiate.
• Mécanisme d'attention : La fonction principale du réseau neuronal qui détermine quelles parties du contexte à court terme sont les plus pertinentes pour la prédiction actuelle.
• Tokenisation : Le processus de décomposition du texte en unités discrètes (jetons) que le modèle traite réellement.