acheminement des demandes
Cette fonction dirige les requêtes d'inférence entrantes vers le modèle déployé le plus approprié en fonction du schéma d'entrée, des exigences de latence et de la disponibilité des ressources au sein du cluster de calcul.
Priorité
Execution Context
Le routage des requêtes sert de mécanisme de répartition critique au sein du cycle de vie du déploiement de modèles. Il garantit que chaque appel d'inférence est dirigé vers l'instance de modèle optimale en fonction de métriques en temps réel telles que la latence, le débit et la compatibilité du modèle. En analysant les en-têtes de requête et les caractéristiques de la charge utile, le système sélectionne dynamiquement le service cible, équilibrant l'optimisation des performances et l'efficacité des coûts. Ce processus prévient les déséquilibres de charge et assure une haute disponibilité sur l'infrastructure de calcul.
Le moteur de routage analyse les charges utiles API entrantes pour identifier la version de modèle et le format d'entrée requis.
Il évalue les métriques actuelles de santé du cluster pour déterminer la capacité disponible pour des familles de modèles spécifiques.
Un algorithme de décision sélectionne le point de terminaison cible, appliquant des règles d'équilibrage de charge avant de transmettre le trafic.
Operating Checklist
Valider le schéma de la requête entrante par rapport aux spécifications du modèle enregistré.
Interroger le registre des modèles pour les déploiements actifs correspondant aux capacités demandées.
Appliquer un algorithme d'équilibrage de charge pour sélectionner l'instance cible optimale.
Transférer les en-têtes de requête et la charge utile vers le point de terminaison d'inférence désigné.
Integration Surfaces
Passerelle API
Le point d'entrée initial où les métadonnées de la requête et les jetons d'authentification sont validés avant l'exécution de la logique de routage.
Registre de modèles
Un magasin de données fournissant l'état en temps réel des modèles disponibles, y compris les étiquettes de version, la santé du déploiement et les quotas de ressources.
Grappe d'inférence
L'environnement de calcul distribué hébergeant les instances de modèle, où le modèle sélectionné exécute la tâche d'inférence réelle.
