Definition

Im Kontext von Large Language Models (LLMs) und generativer KI bezieht sich das Token-Budget auf die maximal zulässige Anzahl von Tokens, die eine Anwendung oder ein Benutzer innerhalb einer bestimmten Interaktion, API-Anfrage oder Nutzungsperiode verarbeiten darf. Tokens sind die grundlegenden Texteinheiten, die LLMs zur Informationsverarbeitung verwenden; sie können Wörter, Teilwörter oder Zeichen darstellen.

Dieses Budget bestimmt die gesamte Eingabe- (Prompt-)Größe und die gesamte Ausgabe- (Vervollständigungs-)Größe, die das Modell gleichzeitig verarbeiten kann, was sich direkt auf die Latenz und die Betriebskosten auswirkt.

Warum es wichtig ist

Die Verwaltung des Token-Budgets ist aus mehreren geschäftlichen Gründen entscheidend:

• Kostenkontrolle: Die Nutzung von LLMs wird typischerweise pro Token abgerechnet. Die Überschreitung eines Budgets oder das Senden übermäßig langer Prompts kann zu unvorhersehbaren und hohen Betriebskosten führen.
• Leistung und Latenz: Extrem große Eingaben oder Ausgaben können die Verarbeitungskapazität des Modells belasten und zu langsameren Antwortzeiten führen.
• Systembeschränkungen: Viele APIs legen harte Grenzen für die Größe des Kontextfensters fest. Die Einhaltung des Budgets stellt sicher, dass die Anwendung innerhalb der technischen Spezifikationen des Anbieters funktionsfähig bleibt.

Wie es funktioniert

Der Tokenisierungsprozess zerlegt rohen Text in diskrete Tokens. Zum Beispiel könnte das Wort „Tokenisierung“ in mehrere Tokens zerlegt werden. Das Token-Budget wird normalerweise durch die Größe des Kontextfensters des Modells definiert (z. B. 4096 Tokens). Dieses Fenster muss sowohl den Eingabe-Prompt als auch die erwartete Antwort berücksichtigen.

Wenn Ihr Prompt 3000 Tokens verbraucht und das maximale Kontextfenster des Modells 4096 Tokens beträgt, beträgt Ihr verbleibendes Budget für die Antwort nur 1096 Tokens.

Häufige Anwendungsfälle

• Chatbots und konversationelle KI: Die Begrenzung des Budgets verhindert Endlosschleifen oder übermäßig lange Konversationsverläufe, die die Kosten in die Höhe treiben.
• Datenzusammenfassung: Bei der Zusammenfassung großer Dokumente stellt die Festlegung eines Budgets sicher, dass die Ausgabe prägnant ist und innerhalb der Grenzen der nachgelagerten Verarbeitung liegt.
• Agenten-Orchestrierung: Bei mehrstufigen KI-Agenten steuert das Budget die Komplexität der Denkketten, bevor eine endgültige Aktion ausgeführt wird.

Hauptvorteile

• Vorhersehbare Ausgaben: Die Festlegung klarer Budgets ermöglicht es den Finanzteams, die Betriebskosten für KI genau vorherzusagen.
• Optimierte Benutzererfahrung (UX): Durch die Verwaltung der Eingabelänge können Entwickler sicherstellen, dass der Benutzer zeitnahe und relevante Antworten erhält.
• Ressourceneffizienz: Verhindert die Verschwendung von Rechenressourcen für übermäßig ausführliche oder irrelevante Daten.

Herausforderungen

• Kontextverwaltung: Die Bestimmung der optimalen Menge an historischen Daten, die in den Prompt aufgenommen werden sollen, ohne das Budget zu überschreiten, ist ein ständiges Abwägen.
• Genauigkeit der Token-Schätzung: Obwohl es Tools gibt, kann es schwierig sein, die genaue Token-Anzahl komplexer, unstrukturierter Daten vorherzusagen, bevor sie gesendet wird.

Verwandte Konzepte

• Kontextfenster: Die gesamte Kapazität an Tokens, die das Modell zu einem bestimmten Zeitpunkt berücksichtigen kann.
• Prompt Engineering: Die Praxis, Eingaben so zu strukturieren, dass die gewünschte, effiziente Ausgabe erzielt wird.
• Inferenzkosten: Die Betriebskosten, die mit dem Ausführen des Modells zur Generierung einer Antwort verbunden sind.