定義

モデル蒸留は、大規模で高性能なモデル（「教師」モデル）を使用して、より小さく単純なモデル（「生徒」モデル）を訓練するモデル圧縮技術です。生徒モデルは、真のラベルのみで訓練されるのではなく、教師モデルによって生成された出力確率（「ソフトターゲット」）を模倣するように訓練されます。

なぜ重要か

現代のAIにおいて、最先端のモデルはしばしば巨大であり、かなりの計算リソース（高いレイテンシ、大きなメモリフットプリント）を必要とします。これにより、携帯電話、IoTセンサー、またはリアルタイムのエッジコンピューティング環境などのリソース制約のあるデバイス上でのデプロイが困難になります。蒸留により、組織は生徒モデルのサイズと推論時間を劇的に削減しながら、教師モデルの複雑な知識の多くを保持することができます。

仕組み

その中核的なメカニズムは、「暗黙知（ダークナレッジ）」の転送に関わっています。教師モデルは単なるハードな予測（例：「猫」）だけでなく、すべての可能なクラスに対する確率分布（例：猫90%、犬8%、鳥2%）を生成します。この分布には、モデルの不確実性やクラス間の関係に関するニュアンスのある情報が含まれています。その後、生徒モデルは、2つのコンポーネントからなる複合損失関数を使用して訓練されます。1つ目のコンポーネントは、その予測と真のラベル（ハードターゲット）との差を最小化し、2つ目のコンポーネントは、その予測と教師モデルのソフトターゲットとの差を最小化します。

一般的なユースケース

• モバイルデプロイメント： 処理能力が限られたモバイルアプリケーションへの複雑な画像認識または自然言語処理モデルのデプロイ。
• エッジAI： 厳格な電力バジェットを持つIoTデバイスや組み込みシステム上での高度な推論の実行。
• リアルタイムシステム： 自動運転車の知覚やライブレコメンデーションエンジンなどの高スループットアプリケーションにおけるレイテンシの削減。

主な利点

• レイテンシの削減： より小さなモデルは予測をはるかに高速に実行します。
• 計算コストの削減： 推論中に必要なメモリと浮動小数点演算（FLOPs）が少なくなります。
• モデル効率： サイズを大幅に削減しながら、教師モデルに近い性能を達成し、より広範なデプロイを可能にします。

課題

• 教師への依存性： このプロセスは、高品質な事前学習済み教師モデルが入手可能であることに完全に依存しています。
• ハイパーパラメータチューニング： 損失関数の重み（ハードターゲット対ソフトターゲット）のバランスを取るには、慎重な調整が必要です。
• 知識の忠実度： 一部の複雑なタスクでは、蒸留プロセスが教師モデルのすべてのニュアンスを完全に捉えられない場合があります。