定義

埋め込みモデルとは、機械学習モデルがリモートのクラウドベースのAPI呼び出しとしてアクセスされるのではなく、ソフトウェアアプリケーション、デバイス、またはワークフローに直接統合されているものを指します。予測のためにデータを集中型サーバーに送信する代わりに、モデルはデータが生成または処理されるローカルで実行されます。

なぜ重要か

埋め込みモデルは、従来のクラウドベースのAIに関連する重大な制限に対処します。レイテンシを劇的に削減し、継続的なインターネット接続への依存を最小限に抑え、機密情報をデバイス上またはローカルシステム境界内に保持することで、データプライバシーを大幅に強化します。

仕組み

このプロセスには、事前学習済みモデル（例：量子化、枝刈り）をターゲットハードウェアで効率的に実行できるように最適化することが含まれます。この最適化されたモデルアーティファクトは、アプリケーションコードまたはファームウェアに直接バンドルされます。アプリケーションが予測を必要とする場合、入力データをローカルモデルインスタンスに直接フィードして即座に推論を行います。

一般的なユースケース

埋め込みモデルは、いくつかの高性能シナリオで広く使用されています。例としては、セキュリティカメラ上でのリアルタイム物体検出、モバイルアプリ内で即座に提供されるパーソナライズされたレコメンデーション、オフラインチャット機能のための自然言語処理（NLP）、産業用IoTセンサーの予知保全などがあります。

主な利点

• 低レイテンシ： ネットワークの往復時間が排除されるため、予測はほぼ瞬時です。
• オフライン機能： ネットワークアクセスがない場合でも機能が維持されます。
• プライバシー保護： データ処理がローカルで行われるため、クラウド送信に関連する露出リスクが低減します。
• 運用コストの削減： 継続的かつ大量のクラウドAPI使用への依存を減らします。

課題

主な課題は、モデルサイズと計算上の制約に関係しています。大規模で複雑なモデルをリソースが限られたエッジデバイスにデプロイするには、大幅なモデル圧縮と慎重なハードウェア選択が必要です。これらのローカルにデプロイされたモデルの保守と更新も、デプロイの複雑さを増大させる可能性があります。

関連概念

関連する概念には、エッジコンピューティング、オンデバイスML、モデル量子化、フェデレーテッドラーニングがあります。エッジコンピューティングがインフラストラクチャであるのに対し、埋め込みモデルはそのインフラストラクチャ上で実行される特定のソフトウェアアーティファクトです。