Définition

Un modèle quantifié est une version d'un modèle d'apprentissage automatique entraîné dont la précision numérique des poids et des activations a été réduite. Typiquement, les modèles sont entraînés à l'aide de nombres à virgule flottante sur 32 bits (FP32). La quantification convertit ces valeurs de haute précision en représentations à bits inférieurs, telles que les flottants sur 16 bits (FP16), les entiers sur 8 bits (INT8), ou même moins.

Pourquoi c'est important

La taille du modèle et les exigences de calcul sont des goulots d'étranglement majeurs dans le déploiement de grands modèles d'IA, en particulier sur les appareils périphériques (edge devices) ou dans des environnements cloud aux ressources limitées. La quantification répond directement à ce problème en réduisant considérablement l'empreinte mémoire et le nombre de calculs requis (FLOPs) pendant l'inférence.

Ce gain d'efficacité se traduit directement par des temps d'inférence plus rapides, une latence réduite et des coûts opérationnels moindres pour les entreprises exécutant des charges de travail d'IA à grande échelle.

Comment cela fonctionne

L'idée principale est de mapper une plage continue de valeurs en virgule flottante sur un ensemble discret de valeurs de précision inférieure. Ce processus implique de définir un facteur d'échelle et un point zéro pour chaque tenseur. La valeur FP32 originale est mappée à une valeur entière dans la plage de largeur de bits choisie. Il existe plusieurs techniques, notamment la Quantification Post-Entraînement (PTQ), où la quantification se produit après l'entraînement, et l'Entraînement Sensible à la Quantification (QAT), où le modèle est entraîné avec un bruit de quantification simulé pour minimiser la perte de précision.

Cas d'utilisation courants

Les modèles quantifiés sont essentiels pour plusieurs applications d'IA modernes :

• Déploiement d'IA en périphérie (Edge AI): Exécuter des modèles complexes de vision ou de TAL (Traitement Automatique du Langage) directement sur des téléphones mobiles, des capteurs IoT ou des systèmes embarqués où la mémoire et l'alimentation sont sévèrement limitées.
• Inférence à haut débit: Servir de grands modèles de langage (LLM) ou des moteurs de recommandation complexes dans des environnements cloud où maximiser les requêtes par seconde (RPS) est primordial.
• Applications mobiles: Intégrer des fonctionnalités d'IA sophistiquées dans des applications grand public sans nécessiter une connectivité cloud constante.

Avantages clés

• Réduction de la taille du modèle: Des tailles de fichiers plus petites permettent un téléchargement et un déploiement plus rapides.
• Inférence plus rapide: L'arithmétique entière est significativement plus rapide et plus économe en énergie sur le matériel spécialisé (comme les NPU ou les CPU optimisés) que l'arithmétique en virgule flottante.
• Utilisation mémoire réduite: Moins de bande passante mémoire est nécessaire pour charger et traiter les poids du modèle.

Défis

• Dégradation de la précision: Le principal défi est la perte potentielle de précision du modèle due aux informations perdues lors de la réduction de la précision. Un calibrage minutieux et la sélection de la méthode de quantification sont nécessaires pour atténuer ce problème.
• Prise en charge matérielle: Bien que l'INT8 soit largement pris en charge, l'utilisation de très faibles largeurs de bits nécessite une accélération matérielle spécifique pour réaliser le plein bénéfice des performances.

Concepts connexes

• Élagage (Pruning): Suppression des poids redondants d'un modèle.
• Distillation de connaissances (Knowledge Distillation): Entraînement d'un modèle « étudiant » petit et efficace pour imiter un modèle « enseignant » grand et complexe.
• Entraînement à précision mixte (Mixed-Precision Training): Utilisation de différentes précisions (par exemple, FP16 et FP32) de manière stratégique au sein de l'architecture du modèle.