Định nghĩa

Mô hình cục bộ (local model) là một mô hình trí tuệ nhân tạo—chẳng hạn như mô hình ngôn ngữ nhỏ (SLM) hoặc mô hình thị giác chuyên biệt—được thiết kế và tối ưu hóa để chạy hoàn toàn trên phần cứng của người dùng cuối, chẳng hạn như điện thoại thông minh, máy tính xách tay hoặc thiết bị biên (edge device). Không giống như các mô hình dựa trên đám mây đòi hỏi kết nối internet liên tục và giao tiếp với các máy chủ từ xa, các mô hình cục bộ thực hiện suy luận trực tiếp trên CPU, GPU hoặc các đơn vị xử lý thần kinh (NPU) chuyên dụng của thiết bị.

Tại sao điều này quan trọng đối với doanh nghiệp

Sự chuyển dịch sang các mô hình cục bộ giải quyết các nhu cầu quan trọng của doanh nghiệp liên quan đến quản trị dữ liệu, độ trễ và khả năng phục hồi hoạt động. Đối với các doanh nghiệp xử lý dữ liệu nhạy cảm (ví dụ: chăm sóc sức khỏe, tài chính), việc giữ dữ liệu trên thiết bị sẽ loại bỏ rủi ro liên quan đến việc truyền thông tin độc quyền đến các máy chủ đám mây của bên thứ ba. Hơn nữa, việc loại bỏ sự phụ thuộc vào mạng đảm bảo hiệu suất ổn định ngay cả trong môi trường kết nối kém.

Cách thức hoạt động

Việc triển khai mô hình cục bộ phụ thuộc rất nhiều vào các kỹ thuật lượng tử hóa (quantization) và cắt tỉa (pruning). Các phương pháp tối ưu hóa này giúp giảm kích thước và yêu cầu tính toán của mô hình mà không làm giảm đáng kể độ chính xác. Các framework như TensorFlow Lite hoặc ONNX Runtime cho phép các nhà phát triển biên dịch các mô hình lớn, đã được huấn luyện trước thành các phiên bản nhẹ, hiệu quả cao, phù hợp với môi trường phần cứng bị giới hạn. Các trọng số mô hình được nhúng ngay trong ứng dụng, cho phép hoạt động độc lập.

Các trường hợp sử dụng phổ biến

• Xử lý đầu vào thời gian thực: Phiên âm trên thiết bị hoặc nhận dạng từ khóa để phản hồi tức thì mà không bị độ trễ từ đám mây.
• Tóm tắt dữ liệu riêng tư: Tóm tắt các tài liệu hoặc email cục bộ mà không cần gửi nội dung ra bên ngoài.
• Hỗ trợ ngoại tuyến: Cung cấp các tính năng AI hội thoại cơ bản hoặc văn bản dự đoán khi không có kết nối internet.
• Thị giác máy tính biên (Edge Computer Vision): Chạy phát hiện đối tượng hoặc phát hiện bất thường trực tiếp trên camera an ninh hoặc cảm biến IoT.

Lợi ích chính

• Tăng cường quyền riêng tư và bảo mật: Dữ liệu không bao giờ rời khỏi thiết bị của người dùng, đáp ứng các yêu cầu tuân thủ nghiêm ngặt.
• Giảm độ trễ: Suy luận diễn ra ngay lập tức trên thiết bị, mang lại trải nghiệm người dùng gần như thời gian thực.
• Độc lập hoạt động: Chức năng vẫn được duy trì ngay cả trong trường hợp mất mạng.
• Giảm chi phí vận hành: Loại bỏ chi phí API trên mỗi truy vấn liên quan đến suy luận trên đám mây.

Thách thức trong triển khai

• Hiệu suất mô hình so với kích thước: Việc cân bằng giữa nhu cầu về độ chính xác cao với các giới hạn nghiêm ngặt về bộ nhớ và xử lý của phần cứng tiêu dùng là một sự đánh đổi kỹ thuật liên tục.
• Phân mảnh phần cứng: Đảm bảo mô hình chạy hiệu quả trên các kiến trúc phần cứng đa dạng (ví dụ: các chipset khác nhau trên các thiết bị di động khác nhau) đòi hỏi phải thử nghiệm nghiêm ngặt.
• Độ phức tạp phát triển: Việc tối ưu hóa và triển khai mô hình cho môi trường biên đòi hỏi kiến thức chuyên môn về nén mô hình và hệ thống nhúng.

Các khái niệm liên quan

• AI biên (Edge AI): Mô hình rộng hơn về việc chạy các phép tính AI tại biên mạng, trong đó các mô hình cục bộ là một hình thức triển khai chủ chốt.
• Lượng tử hóa (Quantization): Quá trình giảm độ chính xác của các trọng số mô hình (ví dụ: từ dấu phẩy động 32-bit xuống số nguyên 8-bit) để thu nhỏ kích thước mô hình.
• Học liên kết (Federated Learning): Một phương pháp phi tập trung, trong đó các mô hình được huấn luyện cục bộ trên các thiết bị của người dùng, và chỉ các bản cập nhật tổng hợp mới được gửi đến máy chủ trung tâm, bảo toàn quyền riêng tư trong quá trình huấn luyện.