定義

フェデレーテッドオプティマイザは、ローカルのデータサンプルを保持する分散型デバイスまたはサーバー（クライアント）のネットワーク全体で機械学習モデルを訓練するように設計されたアルゴリズムフレームワークです。すべての生データを中央の場所に集約するのではなく、オプティマイザはグローバルモデルをクライアントに送信してトレーニングプロセスを調整し、クライアントがローカルでトレーニングした後、モデルの更新（勾配または重み）のみを中央サーバーに集約します。

なぜ重要なのか

フェデレーテッドオプティマイザを使用する主な動機は、大規模AIの要求と厳格なデータプライバシー規制（GDPRやHIPAAなど）との両立の必要性です。機密データをスマートフォンやローカル病院サーバーなどのエッジデバイス上に保持することにより、組織はプライバシー要件に違反したり、大規模なデータ転送コストを発生させたりすることなく、膨大で分散したデータセットを活用してモデルを改善できます。

仕組み

このプロセスは通常、次の手順に従います。

1. 初期化： 中央サーバーがグローバルモデルを初期化し、選択された参加クライアントのサブセットに送信します。
2. ローカルトレーニング： 各クライアントは、独自のデータセットを使用してモデルをローカルで数エポック訓練します。これにより、ローカルモデルの更新セットが生成されます。
3. 更新の集約： クライアントは、計算された更新（生データではない）のみを中央サーバーに送信します。サーバーは次に、フェデレーテッドアベレージング（FedAvg）などの集約アルゴリズムを使用して、これらの更新を単一の改善されたグローバルモデルに結合します。
4. 反復： 改善されたグローバルモデルはクライアントに再配布され、収束するか、事前に定義された停止基準が満たされるまでサイクルが繰り返されます。

一般的なユースケース

フェデレーテッド最適化は、データが本質的にサイロ化されているか、非常に機密性の高いシナリオで非常に適用可能です。

• モバイルキーボード予測： プライベートなメッセージコンテンツをクラウドサーバーにアップロードすることなく、ユーザーのキー入力で次の単語予測モデルを訓練する。
• ヘルスケア診断： 患者記録を保持する複数の病院全体で診断AIモデルを開発し、患者の機密性を確保する。
• IoTセンサーネットワーク： 地理的に分散した産業センサーから収集されたデータを使用して、予知保全モデルを改善する。

主な利点

• 強化されたデータプライバシー： 生データはローカル環境から決して離れません。プライバシーリスクが大幅に低減されます。
• レイテンシと帯域幅の削減： 計算がデータソース（エッジ）の近くで行われるため、大量のデータセットを中央クラウドにストリーミングする必要性が最小限に抑えられます。
• 多様なデータへのアクセス： ロジスティクス上または規制上の制約によりアクセスできない可能性のある、高度に分散化された異種データセットからモデルが学習できるようにします。

課題

• 非独立同分布 (Non-IID) データ： 異なるクライアント間のデータは、多くの場合、非独立同分布 (Non-IID) です。この異質性はモデルのドリフトを引き起こし、収束を遅らせる可能性があります。
• システム異質性： クライアントは計算能力、ネットワーク接続、バッテリー寿命が大きく異なるため、堅牢なスケジューリングと耐障害性が求められます。
• 通信オーバーヘッド： 生データの転送は回避されますが、モデル更新の頻繁な交換は依然としてかなりの通信コストを発生させる可能性があります。

関連概念

フェデレーテッドラーニングは全体的なパラダイムであり、フェデレーテッドオプティマイザは学習されたパラメータを集約するために使用される特定のメカニズムまたはアルゴリズムを指します。差分プライバシーは、データ再構築攻撃に対する数学的な保証を追加するために、フェデレーテッドラーニングの上に重ねて適用されることがよくあります。