Suy luận cục bộ
Suy luận cục bộ (Local inference) đề cập đến quá trình thực thi một mô hình học máy đã được huấn luyện trực tiếp trên thiết bị của người dùng cuối (ví dụ: điện thoại thông minh, cảm biến IoT, máy chủ cục bộ) thay vì gửi dữ liệu đến máy chủ đám mây tập trung, từ xa để xử lý.
Điều này chuyển tải khối lượng tính toán từ phần phụ trợ đám mây sang thiết bị biên (edge), cho phép ra quyết định theo thời gian thực mà không cần phụ thuộc liên tục vào mạng.
Việc chuyển đổi sang suy luận cục bộ giải quyết các hạn chế nghiêm trọng của AI dựa trên đám mây. Độ trễ (latency), tức là độ trễ giữa đầu vào và đầu ra, được giảm đáng kể vì dữ liệu không cần phải truyền qua internet. Hơn nữa, việc xử lý dữ liệu nhạy cảm tại chỗ giúp tăng cường quyền riêng tư của người dùng bằng cách giữ thông tin cá nhân tránh xa các máy chủ bên ngoài.
Đối với các ứng dụng yêu cầu phản hồi ngay lập tức—chẳng hạn như nhận dạng đối tượng thời gian thực hoặc lệnh thoại—suy luận cục bộ thường là lựa chọn khả thi duy nhất.
Quy trình làm việc cho suy luận cục bộ bao gồm một số giai đoạn chính. Đầu tiên, một mô hình lớn được huấn luyện trên đám mây phải được tối ưu hóa và lượng tử hóa (quantized). Các kỹ thuật tối ưu hóa giúp giảm kích thước và yêu cầu tính toán của mô hình (ví dụ: sử dụng TensorFlow Lite hoặc ONNX Runtime) để nó có thể chạy hiệu quả trên phần cứng có tài nguyên hạn chế.
Thứ hai, mô hình đã được tối ưu hóa được triển khai đến thiết bị đích. Thứ ba, thiết bị thu thập dữ liệu đầu vào, chạy công cụ suy luận cục bộ trên mô hình và tạo ra dự đoán hoặc hành động đầu ra.
Suy luận cục bộ cung cấp năng lượng cho vô số ứng dụng hiện đại. Các ví dụ bao gồm nhận dạng hình ảnh thời gian thực trên camera di động, gợi ý văn bản dự đoán hoạt động ngoại tuyến, trợ lý giọng nói xử lý từ kích hoạt tại chỗ và phát hiện bất thường trong các cảm biến IoT công nghiệp.
Trong lĩnh vực chăm sóc sức khỏe, nó cho phép phân tích ngay lập tức các dấu hiệu sinh tồn mà không cần truyền dữ liệu bệnh nhân thô.
Những lợi thế của việc triển khai AI tại chỗ là rất đáng kể. Các lợi ích chính bao gồm độ trễ cực thấp, tăng cường quyền riêng tư và bảo mật dữ liệu, và cải thiện độ tin cậy hoạt động, vì ứng dụng vẫn hoạt động ngay cả khi kết nối internet bị gián đoạn hoặc không khả dụng.
Mặc dù có những lợi ích, suy luận cục bộ vẫn đặt ra những thách thức. Kích thước mô hình và sức mạnh tính toán thường bị giới hạn trên các thiết bị biên, đòi hỏi phải nén mô hình phức tạp. Việc đảm bảo hiệu suất nhất quán trên các kiến trúc phần cứng đa dạng cũng đòi hỏi các công cụ triển khai mạnh mẽ.
Khái niệm này có liên quan chặt chẽ đến Điện toán biên (Edge Computing), là xu hướng kiến trúc rộng hơn về việc xử lý dữ liệu gần nguồn. Nó cũng giao thoa với Lượng tử hóa mô hình (Model Quantization), kỹ thuật cụ thể được sử dụng để làm cho các mô hình lớn đủ nhỏ để triển khai cục bộ.
