Petit modèle de langage
Un Petit Modèle de Langage (SLM) est un type de modèle d'intelligence artificielle conçu pour effectuer des tâches de traitement du langage naturel, mais avec beaucoup moins de paramètres et d'exigences informatiques par rapport aux grands modèles de langage (LLM). Alors que les LLM possèdent des milliards ou des milliers de milliards de paramètres, les SLM sont optimisés pour l'efficacité, ce qui leur permet de fonctionner efficacement sur du matériel moins puissant.
L'essor des SLM répond à des limitations critiques des entreprises associées aux LLM massifs. Le déploiement de grands modèles nécessite souvent une infrastructure cloud étendue, une latence élevée et des coûts opérationnels substantiels. Les SLM permettent aux entreprises de rapprocher les capacités d'IA avancées de la source des données — que ce soit sur site, en périphérie (edge) ou dans des environnements contraints — ce qui entraîne une inférence plus rapide et une dépense opérationnelle réduite.
Les SLM sont généralement créés grâce à diverses techniques d'optimisation appliquées à des modèles fondamentaux plus grands. Ces méthodes comprennent la quantification (réduction de la précision des poids du modèle), l'élagage (pruning) (suppression des connexions inutiles) et la distillation de connaissances (entraînement d'un modèle plus petit pour imiter le comportement d'un modèle enseignant plus grand et plus performant). Ce processus conserve la majeure partie de l'intelligence fonctionnelle tout en réduisant considérablement l'empreinte du modèle.
Les SLM excellent dans des tâches spécifiques et bien définies où une généralité extrême n'est pas requise. Les applications courantes comprennent :
Les principaux avantages de l'adoption des SLM sont centrés sur l'efficacité opérationnelle et l'accessibilité. Ils offrent une latence d'inférence plus faible, ce qui est crucial pour les applications en temps réel. De plus, leur taille réduite facilite un réglage fin (fine-tuning) plus simple sur des ensembles de données propriétaires et de niche, conduisant à une plus grande précision dans des contextes commerciaux spécialisés par rapport à un LLM à usage général.
Malgré leurs avantages, les SLM ont des limites. Leur taille intrinsèque restreint leur capacité à gérer des tâches de raisonnement complexes et multi-étapes que les LLM massifs gèrent sans effort. Atteindre des performances de pointe nécessite souvent un réglage fin méticuleux et une sélection attentive du modèle de base approprié pour le problème commercial spécifique.
Les SLM sont souvent discutés aux côtés de concepts tels que le Réglage Fin Efficace en Paramètres (PEFT), qui permet l'adaptation des modèles sans réentraîner tous les paramètres, et l'Informatique en Périphérie (Edge Computing), qui bénéficie directement des faibles exigences en ressources de ces modèles plus petits.
