パラメーター効率的なファインチューニング
パラメーター効率的なファインチューニング（PEFT）とは、従来の完全なファインチューニングよりもはるかに少ない学習可能なパラメーターで、大規模な事前学習済みモデル（大規模言語モデル（LLM）など）をダウンストリームタスクに適応させるために設計された一連の技術を指します。
PEFT手法は、巨大なモデルのすべての重みを更新するのではなく、ごく一部のパラメーターのみを導入または変更することで、トレーニングプロセスを大幅にリソース効率化します。
最先端の基盤モデルの巨大なサイズは、導入における大きな障壁となっています。完全なファインチューニングには、膨大な計算能力（GPU、メモリ）と大量のデータが必要であり、多くの組織にとって利用不可能です。PEFTは、専門化に必要なメモリフットプリントと計算オーバーヘッドを劇的に削減することで、モデルのカスタマイズを民主化します。
PEFT手法は、パラメーターの分離という原則に基づいて動作します。事前学習済みモデルの大部分の重みを固定し、既存のアーキテクチャに小さく学習可能なモジュールやアダプターを注入します。トレーニングプロセスは、これらの小さく追加されたコンポーネントのみを最適化します。
一般的な技術には以下が含まれます：
PEFTは、大規模なインフラストラクチャコストをかけずに迅速かつ的を絞った適応が必要なシナリオに最適です：
PEFTを採用することの利点は、運用AIの展開において非常に大きいです：
非常に効果的である一方で、PEFTには限界があります。どのパラメーターを適応させるか、アダプターをどのように構成するかは、ドメイン知識を必要とします。さらに、効率的であるとはいえ、パフォーマンスの向上は、リソース集約的な完全なファインチューニングによって達成可能な理論上のピークと完全に一致しない場合があります。
この概念は、あるタスクから別のタスクへの知識を再利用するという一般的な考え方である転移学習と密接に関連しています。PEFTは、大規模ニューラルネットワークの文脈で効果的な転移学習を達成するための特定かつ高度に最適化された手法です。
