定義

エキスパート混合モデル（Mixture of Experts, MoE）は、モデルが「エキスパート」として知られる複数の独立したサブネットワークで構成される機械学習アーキテクチャです。MoE は、単一の巨大なモデルがすべての入力を処理するのではなく、「ゲーティングネットワーク」または「ルーター」によって、各入力をこれらのエキスパートの特定のサブセットにルーティングして処理させます。

なぜ重要なのか

従来の巨大なニューラルネットワークは、推論時およびトレーニング時に計算上のボトルネックに陥ることが多く、スケーリングには膨大なリソースを必要とします。MoE は、スパース性（疎性）を導入することでこの問題に対処します。これにより、モデルは、任意の入力に対して全パラメータのごく一部のみをアクティブ化するだけで、はるかに大きなネットワークと同等の性能を達成でき、大幅な効率向上につながります。

仕組み

このプロセスには、主に3つのコンポーネントが関与します。

• 入力： データサンプル（例：文中のトークン）がシステムに入力されます。
• ゲーティングネットワーク（ルーター）： このネットワークは入力を分析し、その特定のデータポイントを処理するのに最適なエキスパートを1つまたは2つ決定します。各エキスパートに重みまたは確率を割り当てます。
• エキスパート： 各エキスパートは通常、より小さく専門化されたニューラルネットワークです。ルーターは入力を選択されたエキスパートに送信し、それらは独立して処理します。選択されたエキスパートからの出力は、重み付けされて合計され、MoE層の最終的な出力が生成されます。

一般的なユースケース

MoE アーキテクチャは、最先端の大規模言語モデル（LLM）の開発においてますます普及しています。また、異なるエキスパートが異なるユーザーセグメントや製品カテゴリを専門とするような複雑なレコメンデーションシステムや、大規模な検索ランキングシステムでも研究されています。

主な利点

• 計算効率： 主な利点は、スパースなパラメータのサブセットのみを使用するため、低いトークン/入力あたりの計算コストで高いモデル容量（多数のパラメータ）を達成できることです。
• スケーラビリティ： MoE は、トレーニングまたは推論のレイテンシが比例的に増加することなく、モデルサイズをほぼ線形にスケールすることを開発者に可能にします。
• 専門化： エキスパートは専門知識を開発でき、全体的なモデルがより高い忠実度でより多様なタスクを処理できるようになります。

課題

• 負荷分散： ルーターがすべてのエキスパートにワークロードを均等に分散させることを保証することが極めて重要です。負荷分散が不十分だと、一部のエキスパートが利用されずに放置される一方で、他のエキスパートがボトルネックになる可能性があります。
• 実装の複雑さ： MoE の実装には、多数のエキスパート間の通信を効率的に管理するための専門的な分散トレーニングフレームワークが必要です。

関連概念

スパースニューラルネットワーク、条件付き計算、スパース活性化関数、AIにおけるスケーリング則