Eingebettetes Modell
Ein eingebettetes Modell bezieht sich auf ein maschinelles Lernmodell, das direkt in eine Softwareanwendung, ein Gerät oder einen Workflow integriert ist, anstatt über einen entfernten, cloudbasierten API-Aufruf aufgerufen zu werden. Anstatt Daten an einen zentralen Server zur Vorhersage zu senden, läuft das Modell lokal dort, wo die Daten generiert oder verarbeitet werden.
Eingebettete Modelle adressieren kritische Einschränkungen, die mit traditioneller Cloud-KI verbunden sind. Sie reduzieren die Latenz drastisch, minimieren die Abhängigkeit von einer kontinuierlichen Internetverbindung und verbessern die Datenschutzsicherheit erheblich, indem sie sensible Informationen auf dem Gerät oder innerhalb der lokalen Systemgrenzen halten.
Der Prozess umfasst die Optimierung eines vortrainierten Modells (z. B. Quantisierung, Beschneidung), damit es effizient auf der Zielhardware läuft. Dieses optimierte Modellartefakt wird dann direkt in den Anwendungs-Code oder die Firmware eingebettet. Wenn die Anwendung eine Vorhersage benötigt, speist sie die Eingabedaten direkt in die lokale Modellinstanz für eine sofortige Inferenz ein.
Eingebettete Modelle sind in mehreren Hochleistungsszenarien weit verbreitet. Beispiele hierfür sind Echtzeit-Objekterkennung auf Überwachungskameras, personalisierte Empfehlungen, die sofort in einer mobilen App angezeigt werden, natürliche Sprachverarbeitung (NLP) für Offline-Chat-Funktionen und vorausschauende Wartung bei industriellen IoT-Sensoren.
Die Hauptprobleme betreffen die Modellgröße und die rechnerischen Einschränkungen. Die Bereitstellung großer, komplexer Modelle auf ressourcenbeschränkten Edge-Geräten erfordert eine erhebliche Modellkompression und eine sorgfältige Hardwareauswahl. Die Wartung und Aktualisierung dieser lokal bereitgestellten Modelle kann ebenfalls zu Komplexität bei der Bereitstellung führen.
Verwandte Konzepte sind Edge Computing, On-Device ML, Modellquantisierung und Federated Learning. Während Edge Computing die Infrastruktur ist, ist ein eingebettetes Modell das spezifische Softwareartefakt, das auf dieser Infrastruktur läuft.
