Maschinenlaufzeit
Die Maschinenlaufzeit (Machine Runtime) bezeichnet den Betriebszeitraum, in dem eine Maschine, eine Software oder ein rechnerisches Modell aktiv Aufgaben ausführt. Im Kontext von KI und groß angelegten Systemen misst sie spezifisch die Zeit und die Ressourcen, die verbraucht werden, während ein trainiertes Modell Vorhersagen trifft oder während automatisierte Prozesse laufen.
Diese Kennzahl ist entscheidend, um die reale Effizienz eingesetzter Systeme zu verstehen, da sie über die einfache Trainingszeit hinausgeht und sich auf Inferenz und Betriebsbelastung konzentriert.
Für Unternehmen, die KI-Lösungen einsetzen, korreliert die Maschinenlaufzeit direkt mit den Betriebskosten und der Benutzererfahrung. Eine hohe Laufzeit führt zu höheren Kosten für Cloud-Computing (z. B. GPU-/CPU-Nutzung) und potenziell zu langsameren Reaktionszeiten für Endbenutzer.
Die Optimierung der Laufzeit stellt sicher, dass das eingesetzte Modell kosteneffizient ist und strenge Service Level Agreements (SLAs) hinsichtlich der Latenz erfüllt.
Die Laufzeit wird durch mehrere Faktoren bestimmt, darunter die Komplexität der Modellarchitektur, das Volumen der Eingabedaten (Batch-Größe), die zugrunde liegende Hardware (CPU vs. GPU) und die Effizienz der verwendeten Inferenz-Engine.
Wenn ein Modell läuft, benötigt es Rechenzyklen, um Eingabemerkmale durch seine Schichten zu verarbeiten, um eine Ausgabe zu generieren. Die Laufzeit erfasst die gesamte Dauer dieses Zyklus.
Die Maschinenlaufzeit wird in mehreren Bereichen intensiv verfolgt:
Die Optimierung der Maschinenlaufzeit bringt greifbare geschäftliche Vorteile:
Herausforderungen entstehen oft durch die Modellgröße und die Einsatzumgebung. Große, komplexe Basismodelle erfordern von Natur aus mehr Rechenzeit. Darüber hinaus erhöht die Verwaltung der Laufzeit über heterogene Hardware hinweg (z. B. der Wechsel von lokaler CPU-Inferenz zu spezialisierten Edge TPUs) die Komplexität.
Eng verwandte Konzepte sind Inferenzlatenz (die Zeit für eine einzelne Vorhersage), Durchsatz (die Anzahl der Vorhersagen pro Zeiteinheit) und Modell-Effizienz (das Verhältnis von Leistung zu Rechenkosten).
