モデルプロモーションは、検証済みの成果物をレジストリから、本番環境で使用可能なコンピューティングクラスタへ移行するプロセスを制御します。この機能は、環境ごとの設定を自動的に適用し、移行中のモデルの整合性を確保するとともに、リソースの最適化を実現します。また、開発サイクルと本番環境での推論サービス間の重要な連携を担い、手動によるデプロイの遅延を削減し、マルチ環境構成における設定のずれのリスクを軽減します。
システムは、レジストリのメタデータに定義されたハードウェア仕様とワークロード要件に基づいて、対象となるコンピューティング環境を特定します。
自動化されたパイプラインは、コンテナ化と依存関係の解決を実行し、目的のクラスタに特有の必要なドライバとライブラリを組み込みます。
最終検証により、モデルの重みとスキーマが転送中に変更されないことを保証し、その後、自動スケーリングポリシーが起動されます。
対象のモデルバージョンを選択し、目的のコンピューティング環境クラスタを指定してください。
GPUドライバ、メモリ制限、および推論エンドポイントを含む、環境に特化した変数を設定します。
スキーマの互換性とアーティファクトの完全性を検証するための自動化されたチェックを実行します。
デプロイメントを開始し、スケーリングを実行するとともに、サービスの可用性を検証します。
エンジニアは、モデルレジストリのインターフェース内で、モデルのプロモーション状況、対象環境、およびバージョン履歴を直接確認できます。
自動化されたワークフローにより、成果物のパッケージング、署名検証、およびコンピューティングノードへの安全な転送が、人的介入なしに実行されます。
リアルタイムのテレメトリーにより、デプロイメントの成功率、レイテンシの指標、およびプロモーション後のリソース利用状況を追跡できます。