Multimodales Gedächtnis
Multimodales Gedächtnis bezieht sich auf die Fähigkeit eines künstlichen Intelligenzsystems, Informationen, die in mehreren Datenformaten gleichzeitig präsentiert werden, zu speichern, abzurufen und darüber zu reflektieren. Im Gegensatz zu herkömmlichen Gedächtnissystemen, die einzelne Datentypen verarbeiten (z. B. Textprotokolle oder numerische Vektoren), verschmilzt multimodales Gedächtnis Darstellungen aus verschiedenen Modalitäten – wie Text, Bildern, Audio, Video und Sensordaten – zu einer einheitlichen, kohärenten Wissensbasis.
In modernen, komplexen Anwendungen sind reale Daten von Natur aus multimodal. Eine Benutzeranfrage kann ein Bild und begleitenden Text beinhalten. Ein multimodales Gedächtnis ermöglicht es KI-Agenten, ein umfassendes Verständnis des gesamten Kontexts zu bewahren, was zu wesentlich nuancierteren, genaueren und menschlicheren Interaktionen führt. Dies hebt die KI über einfaches Musterabgleichen hinaus zu echtem kontextuellem Verständnis.
Der Kernmechanismus besteht darin, verschiedene Datentypen in einen gemeinsamen, hochdimensionalen Vektorraum einzubetten. Jede Modalität (z. B. ein Bildausschnitt, ein Satz-Embedding) wird von einem spezialisierten Encoder in einen Vektor verarbeitet. Diese Vektoren werden dann ausgerichtet und in einer einheitlichen Speicherstruktur zusammen gespeichert. Der Abruf erfolgt durch Abfragen dieses Raumes mithilfe eines Prompts, der gemischte Modalitäten enthalten kann, wodurch das System relevante, referenzierte Erinnerungen abrufen kann.
Dieses Konzept baut auf Vektordatenbanken auf, die Embeddings speichern, und auf großen Sprachmodellen (LLMs), die die Schicht der Schlussfolgerung bereitstellen. Es stellt die Weiterentwicklung von LLMs zu echten multimodalen Agenten dar.
