Définition

La fenêtre de contexte fait référence à la quantité maximale de texte d'entrée (invite) et de texte de sortie (complétion) qu'un grand modèle linguistique (LLM) peut traiter ou « mémoriser » au cours d'une seule interaction. Cette capacité est mesurée en jetons (tokens), où un jeton est approximativement équivalent à un mot ou à une unité de sous-mot.

Pourquoi c'est important

La taille de la fenêtre de contexte dicte directement la complexité et l'étendue des tâches qu'un LLM peut gérer. Une fenêtre plus grande permet au modèle de maintenir la cohérence sur des conversations beaucoup plus longues, d'analyser des documents volumineux et de faire référence à des parties antérieures d'une entrée complexe sans perdre le fil général.

Comment cela fonctionne

Les modèles basés sur les transformeurs, qui alimentent la plupart des LLM modernes, traitent les informations séquentiellement dans cette limite de jetons définie. Lorsque l'entrée dépasse la fenêtre de contexte, le modèle doit tronquer les informations les plus anciennes, ce qui lui fait effectivement « oublier » le début de la conversation ou du document.

Cas d'utilisation courants

• Résumé de documents : Analyse de dossiers juridiques ou d'articles de recherche entiers en une seule fois.
• Chatbots de longue durée : Maintien de l'historique de conversation sur des sessions utilisateur prolongées.
• Génération de code : Permettre au modèle de faire référence à de larges bases de code pour une complétion précise.
• Analyse de données : Traitement de journaux ou d'ensembles de données longs fournis en entrée textuelle.

Avantages clés

• Cohérence améliorée : Permet au modèle de générer des résultats plus pertinents et cohérents sur le plan contextuel.
• Analyse approfondie : Permet un examen holistique de grands ensembles de données ou de documents.
• Gestion de tâches complexes : Prend en charge le raisonnement multi-étapes qui nécessite de faire référence à des instructions ou des données antérieures.

Défis

• Coût et latence : Des fenêtres de contexte plus grandes nécessitent des ressources informatiques nettement plus importantes (VRAM et temps de traitement), ce qui augmente les coûts des API et la latence des réponses.
• Dégradation de l'attention : Même avec de grandes fenêtres, les modèles peuvent parfois avoir du mal à accorder un poids égal aux informations placées tout au début ou tout à la fin de l'entrée.

Concepts connexes

• Tokenisation : Le processus de décomposition du texte brut en jetons discrets que le modèle comprend.
• Mécanisme d'attention : Le composant architectural central qui permet au modèle de pondérer l'importance des différents jetons les uns par rapport aux autres dans le contexte.
• Ajustement fin (Fine-Tuning) : L'ajustement d'un modèle pré-entraîné sur des données spécifiques pour améliorer les performances dans un contexte contraint.