定义

联邦分类器是一种机器学习模型，旨在执行分类任务，其中训练数据分散在多个独立的客户端设备或服务器上。它不是将所有原始数据汇集到中央位置，而是将模型发送到数据源进行本地训练，然后只将产生的模型更新（梯度或权重）发送回中央聚合器进行聚合。

为什么重要

数据隐私和监管合规性（如 GDPR 或 HIPAA）是现代人工智能部署中的主要障碍。集中化敏感数据在法律上或实际上往往是不可能的。联邦学习（由联邦分类器概念驱动）通过允许组织利用大量分布式数据来改进模型，同时确保原始数据永不离开其源环境，从而解决了这个问题。

工作原理

该过程通常遵循以下步骤：

1. 初始化： 中央服务器初始化一个全局模型（分类器）。
2. 分发： 服务器将当前模型版本发送给选定的参与客户端。
3. 本地训练： 每个客户端使用自己的私有数据集在本地训练模型。这会产生本地模型更新。
4. 聚合： 客户端只将这些更新（而不是数据）发送回中央服务器。服务器然后采用聚合算法（如联邦平均法 FedAvg）将这些更新组合成一个改进的全局模型。
5. 迭代： 将改进后的全局模型发送回去，循环重复，直到模型达到所需的性能水平。

常见用例

在数据孤岛是固有情况的场景中，联邦分类器具有高度相关性：

• 移动键盘预测： 在用户手机上训练下一个词预测模型，而无需上传私密的输入历史记录。
• 医疗诊断： 在多个医院开发诊断模型，每个医院都根据严格的隐私协议保存患者记录。
• 物联网传感器网络： 在地理上分布的工业传感器上训练异常检测分类器。

主要优势

• 增强的数据隐私： 原始数据保留在本地设备上，显著降低了隐私风险。
• 降低延迟和带宽： 训练发生在更靠近数据源的地方，最大限度地减少了通过网络传输大量数据集的需要。
• 访问多样化数据： 能够使用原本无法访问的高度分布式、异构数据集。

挑战

• 非独立同分布数据 (Non-IID)： 客户端之间的数据通常是非独立同分布的 (Non-IID)，这意味着本地数据分布差异很大，这可能会挑战收敛性。
• 通信开销： 尽管避免了原始数据传输，但模型更新的迭代交换仍然需要大量的通信。
• 系统异构性： 客户端之间设备计算能力和网络连接性的差异可能会使训练过程复杂化。

相关概念

联邦学习是总体范式。相关概念包括差分隐私（向更新添加噪声以提供更强的隐私保证）和安全聚合（确保服务器无法检查单个客户端的更新）。