Định nghĩa

Mixture of Experts (MoE) là một kiến trúc học máy trong đó mô hình được cấu thành từ nhiều mạng con độc lập, được gọi là 'chuyên gia' (experts). Thay vì có một mô hình nguyên khối xử lý tất cả các đầu vào, MoE sẽ định tuyến mỗi đầu vào đến một tập hợp con cụ thể của các chuyên gia này để xử lý. Việc định tuyến này được quản lý bởi một 'mạng cổng' (gating network) hoặc 'bộ định tuyến' (router).

Tại sao nó lại quan trọng

Các mạng nơ-ron lớn truyền thống thường gặp phải các nút thắt cổ chai về tính toán trong quá trình suy luận và huấn luyện, đòi hỏi tài nguyên khổng lồ để mở rộng quy mô. MoE giải quyết vấn đề này bằng cách giới thiệu tính thưa (sparsity). Nó cho phép các mô hình đạt được hiệu suất của một mạng lớn hơn nhiều trong khi chỉ kích hoạt một phần nhỏ các tham số tổng thể cho bất kỳ đầu vào nào, dẫn đến những cải thiện đáng kể về hiệu quả.

Cách thức hoạt động

Quá trình này bao gồm ba thành phần chính:

• Đầu vào: Một mẫu dữ liệu (ví dụ: một token trong câu) đi vào hệ thống.
• Mạng cổng (Bộ định tuyến): Mạng này phân tích đầu vào và quyết định chuyên gia nào hoặc hai chuyên gia nào phù hợp nhất để xử lý điểm dữ liệu cụ thể đó. Nó gán một trọng số hoặc xác suất cho mỗi chuyên gia.
• Các Chuyên gia: Mỗi chuyên gia thường là một mạng nơ-ron nhỏ hơn, chuyên biệt. Bộ định tuyến gửi đầu vào đến các chuyên gia được chọn, những người xử lý nó một cách độc lập. Các đầu ra từ các chuyên gia được chọn sau đó được gán trọng số và cộng lại với nhau để tạo ra đầu ra cuối cùng của lớp MoE.

Các trường hợp sử dụng phổ biến

Các kiến trúc MoE ngày càng phổ biến trong việc phát triển các Mô hình Ngôn ngữ Lớn (LLMs) tiên tiến nhất. Chúng cũng đang được khám phá trong các hệ thống đề xuất phức tạp, nơi các chuyên gia khác nhau có thể chuyên môn hóa vào các phân khúc người dùng hoặc danh mục sản phẩm khác nhau, và trong các hệ thống xếp hạng tìm kiếm quy mô lớn.

Lợi ích chính

• Hiệu quả tính toán: Lợi ích chính là đạt được dung lượng mô hình cao (nhiều tham số) với chi phí tính toán thấp hơn trên mỗi token/đầu vào vì chỉ sử dụng một tập hợp con thưa của các tham số.
• Khả năng mở rộng: MoE cho phép các nhà phát triển mở rộng kích thước mô hình gần như tuyến tính mà không làm tăng tương ứng độ trễ huấn luyện hoặc suy luận.
• Tính chuyên môn hóa: Các chuyên gia có thể phát triển kiến thức chuyên biệt, cho phép mô hình tổng thể xử lý nhiều loại tác vụ hơn với độ trung thực cao hơn.

Thách thức

• Cân bằng tải: Đảm bảo bộ định tuyến phân phối khối lượng công việc đồng đều trên tất cả các chuyên gia là rất quan trọng. Việc cân bằng tải kém có thể dẫn đến việc một số chuyên gia bị sử dụng dưới mức trong khi những chuyên gia khác trở thành nút thắt cổ chai.
• Độ phức tạp khi triển khai: Việc triển khai MoE đòi hỏi các khuôn khổ huấn luyện phân tán chuyên biệt để quản lý việc giao tiếp giữa vô số chuyên gia một cách hiệu quả.

Các khái niệm liên quan

Mạng nơ-ron thưa, Tính toán có điều kiện, Hàm kích hoạt thưa, Luật mở rộng trong AI