定義

小規模言語モデル（SLM）は、自然言語処理タスクを実行するように設計された人工知能モデルの一種ですが、大規模言語モデル（LLM）と比較して、パラメータ数と計算要件が大幅に少ないという特徴があります。LLMが数十億から数兆のパラメータを誇るのに対し、SLMは効率性を最適化しており、より低性能なハードウェア上でも効果的に実行できるように設計されています。

なぜ重要なのか

SLMの台頭は、巨大なLLMに関連する重要なエンタープライズ上の制約に対処します。大規模モデルの展開には、広範なクラウドインフラストラクチャ、高いレイテンシ、多大な運用コストが必要になることがよくあります。SLMは、企業が高度なAI機能をデータソース（オンプレミス、エッジ、または制約された環境内）により近づけることを可能にし、より高速な推論とより低い運用支出につながります。

仕組み

SLMは通常、より大きな基盤モデルに様々な最適化技術を適用することによって作成されます。これらの手法には、量子化（モデルの重みの精度を低下させる）、枝刈り（不要な接続を削除する）、知識蒸留（より大きく高性能な教師モデルの動作を模倣するように小さなモデルを訓練する）などが含まれます。このプロセスは、モデルのフットプリントを劇的に削減しながら、ほとんどの機能的な知性を保持します。

一般的なユースケース

SLMは、極端な汎用性が要求されない、特定の明確に定義されたタスクで優れています。一般的なアプリケーションには以下が含まれます。

• インテリジェントルーティング： 受信したカスタマーサポートチケットを正確なカテゴリに分類する。
• データ抽出： 構造化または半構造化されたドキュメントから特定のエンティティ（名前、日付、金額）を抽出する。
• デバイス上での要約： 継続的なクラウド接続を必要とせずに、短いドキュメントの迅速なローカル要約を提供する。
• ドメイン固有のチャットボット： 高度に焦点を当てた知識ベースで内部ツールを強化する。

主な利点

SLMを採用する主な利点は、運用効率とアクセシビリティにあります。それらは、リアルタイムアプリケーションにとって極めて重要な、低い推論レイテンシを提供します。さらに、その小さなサイズは、独自のニッチなデータセットに対するより簡単なファインチューニングを可能にし、汎用LLMと比較して専門的なビジネスコンテキストでより高い精度をもたらします。

課題

利点にもかかわらず、SLMには限界があります。その固有のサイズは、巨大なLLMが楽々と処理できる、高度に複雑で多段階の推論タスクを処理する能力を制限します。最先端のパフォーマンスを達成するには、通常、細心の注意を払ったファインチューニングと、特定のビジネス問題に適切なベースモデルの慎重な選択が必要です。

関連概念

SLMは、すべてのパラメータを再訓練することなくモデルを適応させることを可能にするパラメータ効率的ファインチューニング（PEFT）や、これらの小型モデルの低いリソース要求から直接恩恵を受けるエッジコンピューティングといった概念と並んで議論されることがよくあります。