Modèle intégré
Un modèle embarqué fait référence à un modèle d'apprentissage automatique intégré directement dans une application logicielle, un appareil ou un flux de travail, plutôt que d'être accédé via un appel d'API distant basé sur le cloud. Au lieu d'envoyer des données à un serveur centralisé pour obtenir une prédiction, le modèle s'exécute localement là où les données sont générées ou traitées.
Les modèles embarqués pallient des limitations critiques associées à l'IA traditionnelle basée sur le cloud. Ils réduisent considérablement la latence, minimisent la dépendance à une connectivité Internet continue et améliorent significativement la confidentialité des données en conservant les informations sensibles sur l'appareil ou à l'intérieur des limites du système local.
Le processus implique l'optimisation d'un modèle pré-entraîné (par exemple, la quantification, l'élagage) pour qu'il fonctionne efficacement sur le matériel cible. Cet artefact de modèle optimisé est ensuite intégré directement dans le code de l'application ou le micrologiciel. Lorsque l'application a besoin d'une prédiction, elle fournit les données d'entrée directement à l'instance de modèle locale pour une inférence immédiate.
Les modèles embarqués sont prévalents dans plusieurs scénarios haute performance. Les exemples incluent la détection d'objets en temps réel sur les caméras de sécurité, les recommandations personnalisées servies instantanément dans une application mobile, le traitement du langage naturel (NLP) pour les fonctionnalités de chat hors ligne et la maintenance prédictive sur les capteurs IoT industriels.
Les principaux défis concernent la taille du modèle et les contraintes de calcul. Le déploiement de modèles volumineux et complexes sur des appareils périphériques aux ressources limitées nécessite une compression de modèle importante et une sélection minutieuse du matériel. La maintenance et la mise à jour de ces modèles déployés localement peuvent également introduire une complexité de déploiement.
Les concepts connexes comprennent l'informatique en périphérie (Edge Computing), l'apprentissage automatique sur appareil (On-Device ML), la quantification de modèle et l'apprentissage fédéré. Alors que l'informatique en périphérie est l'infrastructure, un modèle embarqué est l'artefact logiciel spécifique fonctionnant sur cette infrastructure.
