التكيف منخفض الرتبة
التكيف منخفض الرتبة (LoRA) هو تقنية للضبط الدقيق الفعال للمعلمات (PEFT) مصممة لتكييف النماذج الكبيرة المدربة مسبقًا، مثل نماذج اللغة الكبيرة (LLMs)، لمهام محددة لاحقة دون إعادة تدريب جميع المعلمات الأصلية للنموذج. بدلاً من تحديث مصفوفة الأوزان الضخمة بأكملها، يقوم LoRA بحقن مصفوفات تحليل الرتبة الصغيرة القابلة للتدريب في طبقات النموذج.
يتطلب الضبط الدقيق التقليدي موارد حاسوبية كبيرة، بما في ذلك كميات هائلة من ذاكرة وحدة معالجة الرسوميات (GPU) والوقت، خاصة عند التعامل مع نماذج تحتوي على مليارات المعلمات. يقلل LoRA بشكل كبير من هذا المتطلب. من خلال تدريب جزء ضئيل فقط من المصفوفات الجديدة منخفضة الرتبة، فإنه يجعل تخصيص النماذج المتطورة متاحًا للباحثين والشركات ذات الأجهزة المحدودة.
في جوهره، يقرب LoRA التحديث الذي يطرأ على مصفوفة الأوزان الكبيرة، $\Delta W$، كناتج لضرب مصفوفتين أصغر بكثير، $A$ و $B$. رياضيًا، $\Delta W \approx BA$، حيث تكون رتبة ($r$) التحليل أصغر بكثير من أبعاد المصفوفة الأصلية. أثناء التدريب، يتم تحديث المعلمات في المصفوفتين $A$ و $B$ فقط، بينما تظل الأوزان المدربة مسبقًا الأصلية والمجمدة ($W_0$) دون تغيير. يتم حساب المخرج النهائي عن طريق إضافة التغيير المتكيف إلى الوزن الأصلي: $W' = W_0 + BA$.
يتم اعتماد LoRA على نطاق واسع عبر تطبيقات الذكاء الاصطناعي المختلفة:
إن مزايا استخدام LoRA كبيرة بالنسبة لخطوط أنابيب MLOps:
على الرغم من فعاليته العالية، فإن LoRA ليس خاليًا من القيود. يعد اختيار الرتبة ($r$) معلمة فائقة حرجة؛ فقد يؤدي تعيينها منخفضًا جدًا إلى عدم ملاءمة المهمة، بينما يؤدي تعيينها مرتفعًا جدًا إلى تقليل مكاسب كفاءة المعلمات. علاوة على ذلك، في حين أنه يتكيف جيدًا مع المعرفة الخاصة بالمهمة، فإنه لا يغير بشكل أساسي المعرفة العالمية الأساسية للنموذج المضمنة في الأوزان المجمدة.
هذه التقنية هي جزء من المجال الأوسع للضبط الدقيق الفعال للمعلمات (PEFT). تشمل المفاهيم ذات الصلة الأخرى ضبط الموجه (Prompt Tuning)، وضبط البادئة (Prefix Tuning)، والتكميم (Quantization)، وكلها تهدف إلى تقليل التكلفة الحاسوبية لتكييف النماذج التأسيسية الضخمة.
