المؤشر متعدد الوسائط
الفهرس متعدد الوسائط هو بنية بيانات متطورة مصممة لتخزين وتنظيم واسترجاع المعلومات من أنواع بيانات متنوعة في وقت واحد. على عكس الفهارس التقليدية التي تتعامل مع النصوص فقط أو الصور فقط، يدمج الفهرس متعدد الوسائط التمثيلات (التضمينات) المستمدة من وسائط متعددة - مثل النصوص والصور والصوت والفيديو - في مساحة موحدة قابلة للبحث.
في بيئة البيانات الغنية اليوم، نادرًا ما تقتصر المعلومات على تنسيق واحد. تحتاج الشركات إلى أنظمة يمكنها الإجابة على استفسارات معقدة مثل: "أرني صورًا لممارسات الزراعة المستدامة الموصوفة في هذا التقرير". يتيح الفهرس متعدد الوسائط هذا الاستدلال عبر الوسائط، متجاوزًا مطابقة الكلمات الرئيسية البسيطة إلى الفهم الدلالي الحقيقي.
تعتمد الآلية الأساسية على نماذج التضمين (Embedding Models). يتم تمرير كل قطعة من البيانات (جملة، صورة فوتوغرافية، مقطع صوتي) عبر مُشفِّر متخصص يحولها إلى متجه عالي الأبعاد، أو تضمين. يقوم الفهرس متعدد الوسائط بعد ذلك بتخزين هذه المتجهات. نظرًا لأن النموذج مُدرَّب على تعيين المفاهيم ذات الصلة عبر الوسائط إلى نقاط قريبة في فضاء المتجهات، يمكن استخدام تضمين الاستعلام (على سبيل المثال، من مطالبة نصية) للعثور على المتجهات المطابقة الأقرب، بغض النظر عما إذا كانت البيانات الأصلية نصًا أو صورة.
قواعد بيانات المتجهات، التضمينات، البحث الدلالي، نماذج المحولات (Transformer Models)، التوليد المعزز بالاسترجاع (RAG)
