Thời gian chạy liên kết
Thời gian chạy liên kết (Federated Runtime) đề cập đến một môi trường tính toán nơi các mô hình học máy hoặc các ứng dụng phức tạp được thực thi trên một mạng lưới các thiết bị hoặc máy chủ phi tập trung, thay vì trên một máy chủ trung tâm duy nhất. Thay vì tập hợp tất cả dữ liệu thô vào một nơi, thời gian chạy này quản lý quá trình huấn luyện hoặc chạy mô hình cục bộ tại các nguồn dữ liệu.
Trong các ứng dụng hiện đại chuyên sâu về dữ liệu, chủ quyền dữ liệu, các quy định về quyền riêng tư (như GDPR) và giới hạn băng thông khiến việc tổng hợp dữ liệu tập trung trở nên không thực tế hoặc bất hợp pháp. Thời gian chạy liên kết giải quyết các vấn đề này bằng cách đưa tính toán đến gần dữ liệu, đảm bảo thông tin nhạy cảm vẫn nằm cục bộ trong khi vẫn đóng góp vào việc cải thiện mô hình toàn cầu.
Quá trình này thường liên quan đến một bộ điều phối trung tâm phân phối một mô hình toàn cầu hoặc nhiệm vụ huấn luyện đến các nút cục bộ (client) khác nhau. Mỗi nút cục bộ huấn luyện hoặc chạy mô hình bằng cách sử dụng tập dữ liệu cục bộ, riêng tư của nó. Chỉ các cập nhật mô hình hoặc tham số kết quả—chứ không phải dữ liệu thô—mới được gửi trở lại bộ điều phối. Sau đó, bộ điều phối tổng hợp các cập nhật này (ví dụ: sử dụng Trung bình Liên kết - Federated Averaging) để tạo ra một mô hình toàn cầu được cải tiến, sau đó được phân phối lại cho vòng huấn luyện tiếp theo.
Thời gian chạy liên kết rất quan trọng trong các kịch bản liên quan đến dữ liệu nhạy cảm: chăm sóc sức khỏe (huấn luyện các mô hình chẩn đoán trên dữ liệu bệnh viện), học tập trên thiết bị di động (cải thiện dự đoán bàn phím mà không cần tải lên các lần gõ phím), và triển khai IoT nơi suy luận thời gian thực phải diễn ra tại biên (edge).
Việc triển khai thời gian chạy liên kết mang lại những phức tạp liên quan đến tính không đồng nhất của hệ thống (phần cứng/phần mềm khác nhau giữa các nút), chi phí giao tiếp để trao đổi tham số, và đảm bảo sự hội tụ của mô hình mặc dù dữ liệu cục bộ không đồng nhất và độc lập (non-IID).
Khái niệm này chồng lấn đáng kể với Điện toán biên (Edge Computing), vốn tập trung vào việc xử lý dữ liệu gần nguồn, và Quyền riêng tư vi phân (Differential Privacy), là một kỹ thuật thường được áp dụng trên học liên kết để bổ sung các đảm bảo toán học chống rò rỉ dữ liệu.
