定義

フェデレーテッド分類器とは、トレーニングデータが複数の独立したクライアントデバイスやサーバーに分散した状態で分類タスクを実行するように設計された機械学習モデルです。すべての生データを中央の場所に集約するのではなく、モデルをデータソースに送信し、ローカルでトレーニングした後、結果として得られたモデルの更新（勾配または重み）のみを中央アグリゲーターに送信して集約します。

なぜ重要なのか

データプライバシーと規制遵守（GDPRやHIPAAなど）は、現代のAI展開における大きな障害です。機密データを一元化することは、法的に、あるいは実際的に不可能な場合が多いです。フェデレーテッド分類器の概念に裏打ちされたフェデレーテッドラーニングは、組織が生のデータをそのソース環境から決して外すことなく、大量の分散データをモデル改善に活用できるようにすることで、この問題を解決します。

仕組み

このプロセスは通常、次の手順に従います。

1. 初期化： 中央サーバーによってグローバルモデル（分類器）が初期化されます。
2. 配布： サーバーは現在のモデルバージョンを参加クライアントの選択されたグループに送信します。
3. ローカルトレーニング： 各クライアントは、独自のプライベートデータセットを使用してモデルをローカルでトレーニングします。これにより、ローカルモデルの更新が生成されます。
4. 集約： クライアントはこれらの更新（データではなく）のみを中央サーバーに送信します。サーバーは次に、フェデレーテッドアベレージング（FedAvg）などの集約アルゴリズムを使用して、これらの更新を改善されたグローバルモデルに統合します。
5. 反復： 改善されたグローバルモデルが再度送信され、モデルが所望のパフォーマンスレベルに達するまでサイクルが繰り返されます。

一般的なユースケース

フェデレーテッド分類器は、データサイロが固有のシナリオで非常に関連性が高いです。

• モバイルキーボード予測： プライベートな入力履歴をアップロードすることなく、ユーザーの携帯電話上で次の単語予測モデルをトレーニングします。
• ヘルスケア診断： 各病院が厳格なプライバシープロトコルに基づいて患者記録を保持している複数の病院間で診断モデルを開発します。
• IoTセンサーネットワーク： 地理的に分散した産業センサー全体で異常検出分類器をトレーニングします。

主な利点

• 強化されたデータプライバシー： 生データはローカルデバイス上に保持されるため、プライバシーリスクが大幅に低減します。
• レイテンシと帯域幅の削減： トレーニングがデータソースにより近接して行われるため、大量のデータセットをネットワーク経由で転送する必要性が最小限に抑えられます。
• 多様なデータへのアクセス： さもなければアクセスできないであろう、高度に分散化された異種データセットの使用が可能になります。

課題

• 非独立同分布データ (Non-IID)： クライアント間のデータは、ローカルデータの分布が大きく異なるため、しばしば非独立同分布 (Non-IID) であり、収束を困難にすることがあります。
• 通信オーバーヘッド： 生データの転送は回避されますが、モデル更新の反復的な交換には依然としてかなりの通信が必要です。
• システム異質性： クライアント間のデバイスの計算能力やネットワーク接続性のばらつきが、トレーニングプロセスを複雑にすることがあります。

関連概念

フェデレーテッドラーニングは全体的なパラダイムです。関連する概念には、より強力なプライバシー保証のために更新にノイズを追加する差分プライバシーや、サーバーが個々のクライアントの更新を検査できないようにするセキュアアグリゲーションがあります。