Mô hình nhúng (Embedded Model)
Mô hình nhúng (embedded model) là một mô hình học máy được tích hợp trực tiếp vào một ứng dụng phần mềm, thiết bị hoặc quy trình làm việc, thay vì được truy cập dưới dạng lệnh gọi API dựa trên đám mây từ xa. Thay vì gửi dữ liệu đến máy chủ tập trung để dự đoán, mô hình chạy cục bộ tại nơi dữ liệu được tạo ra hoặc xử lý.
Mô hình nhúng giải quyết những hạn chế nghiêm trọng liên quan đến AI dựa trên đám mây truyền thống. Nó giảm đáng kể độ trễ, giảm thiểu sự phụ thuộc vào kết nối internet liên tục và tăng cường đáng kể quyền riêng tư dữ liệu bằng cách giữ thông tin nhạy cảm trên thiết bị hoặc trong ranh giới hệ thống cục bộ.
Quy trình bao gồm việc tối ưu hóa một mô hình đã được huấn luyện trước (ví dụ: lượng tử hóa, cắt tỉa) để chạy hiệu quả trên phần cứng mục tiêu. Bản dựng mô hình được tối ưu hóa này sau đó được đóng gói trực tiếp vào mã ứng dụng hoặc phần sụn (firmware). Khi ứng dụng cần một dự đoán, nó sẽ đưa dữ liệu đầu vào trực tiếp vào phiên bản mô hình cục bộ để suy luận ngay lập tức.
Mô hình nhúng phổ biến trong nhiều kịch bản hiệu suất cao. Các ví dụ bao gồm phát hiện đối tượng theo thời gian thực trên camera an ninh, đề xuất cá nhân hóa được phục vụ ngay lập tức trong ứng dụng di động, xử lý ngôn ngữ tự nhiên (NLP) cho các tính năng trò chuyện ngoại tuyến và bảo trì dự đoán trên các cảm biến IoT công nghiệp.
Những thách thức chính liên quan đến kích thước mô hình và các ràng buộc về tính toán. Việc triển khai các mô hình lớn, phức tạp trên các thiết bị biên (edge devices) có tài nguyên hạn chế đòi hỏi phải nén mô hình đáng kể và lựa chọn phần cứng cẩn thận. Việc duy trì và cập nhật các mô hình được triển khai cục bộ này cũng có thể làm tăng độ phức tạp khi triển khai.
Các khái niệm liên quan bao gồm Điện toán biên (Edge Computing), Học máy trên thiết bị (On-Device ML), Lượng tử hóa mô hình (Model Quantization) và Học liên kết (Federated Learning). Trong khi Điện toán biên là cơ sở hạ tầng, Mô hình nhúng là sản phẩm phần mềm cụ thể chạy trên cơ sở hạ tầng đó.
