Định nghĩa

Low-Rank Adaptation (LoRA) là một kỹ thuật Tinh chỉnh Hiệu quả Tham số (PEFT) được thiết kế để điều chỉnh các mô hình được huấn luyện trước quy mô lớn, chẳng hạn như Mô hình Ngôn ngữ Lớn (LLM), cho các tác vụ cụ thể mà không cần huấn luyện lại tất cả các tham số gốc của mô hình. Thay vì cập nhật toàn bộ ma trận trọng số khổng lồ, LoRA chèn các ma trận phân rã hạng nhỏ, có thể huấn luyện được vào các lớp của mô hình.

Tại sao nó quan trọng

Việc tinh chỉnh truyền thống đòi hỏi nguồn tài nguyên tính toán đáng kể, bao gồm lượng lớn bộ nhớ GPU và thời gian, đặc biệt khi xử lý các mô hình chứa hàng tỷ tham số. LoRA giảm đáng kể yêu cầu này. Bằng cách chỉ huấn luyện một phần rất nhỏ các ma trận hạng thấp mới, nó giúp việc tùy chỉnh mô hình tiên tiến trở nên dễ tiếp cận đối với các nhà nghiên cứu và doanh nghiệp có phần cứng hạn chế.

Cách thức hoạt động

Về cốt lõi, LoRA xấp xỉ sự cập nhật của một ma trận trọng số lớn, $\Delta W$, bằng tích của hai ma trận nhỏ hơn nhiều, $A$ và $B$. Về mặt toán học, $\Delta W \approx BA$, trong đó hạng ($r$) của phép phân rã nhỏ hơn đáng kể so với kích thước ma trận ban đầu. Trong quá trình huấn luyện, chỉ các tham số trong các ma trận $A$ và $B$ được cập nhật, trong khi các trọng số được huấn luyện trước ban đầu, bị đóng băng ($W_0$) vẫn giữ nguyên. Đầu ra cuối cùng được tính bằng cách cộng sự thay đổi đã được điều chỉnh vào trọng số gốc: $W' = W_0 + BA$.

Các trường hợp sử dụng phổ biến

LoRA được áp dụng rộng rãi trong nhiều ứng dụng AI khác nhau:

• Thích ứng miền (Domain Adaptation): Điều chỉnh một LLM tổng quát cho các từ vựng chuyên ngành (ví dụ: tài liệu pháp lý, y tế, tài chính).
• Chuyên môn hóa tác vụ (Task Specialization): Tinh chỉnh mô hình cho các chức năng cụ thể, chẳng hạn như tóm tắt, phân tích cảm xúc hoặc tạo mã.
• Cá nhân hóa (Personalization): Điều chỉnh mô hình cơ sở để mô phỏng phong cách viết hoặc cơ sở kiến thức của một người dùng cụ thể.

Lợi ích chính

Những ưu điểm của việc áp dụng LoRA là rất đáng kể đối với các quy trình MLOps:

• Giảm dấu chân bộ nhớ: Giảm đáng kể yêu cầu VRAM trong quá trình huấn luyện.
• Huấn luyện nhanh hơn: Ít tham số hơn đồng nghĩa với hội tụ nhanh hơn và chu kỳ huấn luyện ngắn hơn.
• Khả năng di động và lưu trữ: Các trọng số điều chỉnh kết quả (các ma trận $A$ và $B$) rất nhỏ so với mô hình đầy đủ, cho phép lưu trữ và chuyển đổi dễ dàng giữa các phiên bản mô hình cơ sở dành riêng cho từng tác vụ.

Thách thức

Mặc dù rất hiệu quả, LoRA không phải là không có hạn chế. Việc lựa chọn hạng ($r$) là một siêu tham số quan trọng; đặt nó quá thấp có thể dẫn đến thiếu khớp (underfit) tác vụ, trong khi đặt nó quá cao làm giảm lợi ích về hiệu quả tham số. Hơn nữa, mặc dù nó thích ứng tốt với kiến thức cụ thể của tác vụ, nó không thay đổi cơ bản kiến thức thế giới cốt lõi của mô hình được nhúng trong các trọng số bị đóng băng.

Các khái niệm liên quan

Kỹ thuật này là một phần của lĩnh vực rộng lớn hơn là Tinh chỉnh Hiệu quả Tham số (PEFT). Các khái niệm liên quan khác bao gồm Prompt Tuning, Prefix Tuning và Quantization, tất cả đều nhằm mục đích giảm chi phí tính toán khi điều chỉnh các mô hình nền tảng khổng lồ.