Erklärbare Beobachtung
Erklärbare Beobachtung (XO) bezeichnet die Praxis, klare und verständliche Begründungen für die Datenpunkte, Eingaben oder Zwischenzustände bereitzustellen, die eine KI oder ein maschinelles Lernmodell verwendet, um zu einer bestimmten Schlussfolgerung zu gelangen oder eine Vorhersage zu treffen. Es geht über die bloße Aussage darüber hinaus, was das Modell beobachtet hat, hin zur Erklärung, warum diese Beobachtung signifikant war.
Bei Anwendungen mit hohem Einsatz – wie Finanzen, Gesundheitswesen oder autonomen Systemen – ist ein „Black-Box“-Modell inakzeptabel. XO ist entscheidend für den Aufbau von Vertrauen, die Gewährleistung der Einhaltung gesetzlicher Vorschriften (wie das „Recht auf Erklärung“ der DSGVO) und das Debuggen von Modellfehlern. Es ermöglicht menschlichen Bedienern, die Argumentation des Modells anhand von Fachwissen zu überprüfen.
XO-Techniken beinhalten die Anwendung von Interpretationsmethoden auf die Eingabepipeline des Modells. Dies kann von lokalen Erklärungen (z. B. LIME- oder SHAP-Werte, die die Merkmalswichtigkeit für eine einzelne Vorhersage zeigen) bis hin zu globalen Erklärungen (das Verständnis des allgemeinen Modellverhaltens) reichen. Die Beobachtung selbst wird kontextualisiert, indem die spezifischen Merkmale oder Datenabschnitte hervorgehoben werden, die zum beobachteten Ergebnis geführt haben.
Die größte Herausforderung ist der Kompromiss zwischen Modellkomplexität und Interpretierbarkeit. Hochkomplexe, leistungsstarke Modelle (wie tiefe neuronale Netze) sind von Natur aus schwieriger zu erklären als einfachere, transparentere Modelle.
Dieses Konzept steht in enger Beziehung zur Modellinterpretierbarkeit (XAI), Merkmalszuordnung (Feature Attribution) und Datenherkunft (Data Provenance), welche den Ursprung und die Transformation der Eingabedaten verfolgt.
