Modelldestillation
Modell-Destillation ist eine Modellkompressionstechnik, bei der ein großes, leistungsstarkes Modell (das „Lehrer“-Modell) verwendet wird, um ein kleineres, einfacheres Modell (das „Schüler“-Modell) zu trainieren. Anstatt das Schüler-Modell nur auf den wahren Labels zu trainieren, wird es auch darauf trainiert, die von dem Lehrer-Modell generierten Wahrscheinlichkeitsverteilungen (die „weichen Ziele“) nachzuahmen.
In der modernen KI sind hochmoderne Modelle oft riesig und erfordern erhebliche Rechenressourcen (hohe Latenz, großer Speicherbedarf). Dies macht den Einsatz auf ressourcenbeschränkten Geräten wie Mobiltelefonen, IoT-Sensoren oder in Echtzeit-Edge-Computing-Umgebungen schwierig. Destillation ermöglicht es Organisationen, einen Großteil des komplexen Wissens des Lehrers beizubehalten und gleichzeitig die Größe und die Inferenzzeit des Schülers drastisch zu reduzieren.
Der Kernmechanismus beinhaltet die Übertragung von „verborgenem Wissen“ (dark knowledge). Das Lehrer-Modell erzeugt nicht nur eine harte Vorhersage (z. B. „Katze“), sondern eine Wahrscheinlichkeitsverteilung über alle möglichen Klassen (z. B. 90 % Katze, 8 % Hund, 2 % Vogel). Diese Verteilung enthält nuancierte Informationen über die Unsicherheit des Modells und die Beziehungen zwischen den Klassen. Das Schüler-Modell wird dann mithilfe einer kombinierten Verlustfunktion trainiert: eine Komponente minimiert die Differenz zwischen seinen Vorhersagen und den wahren Labels (harten Zielen), und eine zweite Komponente minimiert die Differenz zwischen seinen Vorhersagen und den weichen Zielen des Lehrers.
