Anforderungsweiterleitung
Diese Funktion leitet eingehende Inferenzanfragen an das am besten geeignete bereitgestellte Modell weiter, basierend auf dem Eingabe-Schema, den Latenzanforderungen und der Ressourcenverfügbarkeit innerhalb des Compute-Clusters.
Priorität
Execution Context
Die Request Routing dient als kritischer Dispatch-Mechanismus im Lebenszyklus der Modellbereitstellung. Sie stellt sicher, dass jeder Inferenzaufruf an die optimale Modellinstanz gerichtet wird, basierend auf Echtzeitmetriken wie Latenz, Durchsatz und Modellkompatibilität. Durch die Analyse von Request-Headern und Payload-Eigenschaften wählt das System dynamisch den Zielservice aus und gleicht Leistungsoptimierung mit Kosteneffizienz aus. Dieser Prozess verhindert Lastungleichgewichte und gewährleistet eine hohe Verfügbarkeit über die Recheninfrastruktur hinweg.
Die Routing-Engine analysiert eingehende API-Payloads, um die erforderliche Modellversion und das Eingabeformat zu identifizieren.
Es bewertet die aktuellen Cluster-Gesundheitsmetriken, um die verfügbare Kapazität für bestimmte Modellfamilien zu bestimmen.
Ein Entscheidungsalgorithmus wählt den Zielendpunkt aus und wendet Lastverteilungsregeln an, bevor er den Datenverkehr weiterleitet.
Operating Checklist
Eingehende Anforderungsschemata gegen registrierte Modellspezifikationen validieren.
Modellregister auf aktive Bereitstellungen abfragen, die den angeforderten Fähigkeiten entsprechen.
Load-Balancing-Algorithmus anwenden, um die optimale Zielinstanz auszuwählen.
Weiterleiten der Anforderungs-Header und der Nutzlast an den dafür vorgesehenen Inferenz-Endpunkt.
Integration Surfaces
API-Gateway
Der anfängliche Eintrittspunkt, an dem Metadaten der Anfrage und Authentifizierungstoken vor der Ausführung der Routing-Logik validiert werden.
Modellregister
Ein Datenspeicher, der den Echtzeitstatus verfügbarer Modelle bereitstellt, einschließlich Versions-Tags, Bereitstellungsgesundheit und Ressourcenquoten.
Inferenz-Cluster
Die verteilte Rechenumgebung, die Modellinstanzen hostet, in der das ausgewählte Modell die eigentliche Inferenzaufgabe ausführt.
