Definition

Function Calling ist eine Fähigkeit innerhalb großer Sprachmodelle (LLMs), die es dem Modell ermöglicht zu bestimmen, wann und wie es externe Funktionen oder APIs basierend auf einer Anfrage des Benutzers in natürlicher Sprache aufrufen soll. Anstatt eine direkte Antwort zu generieren, gibt das LLM ein strukturiertes JSON-Objekt aus, das den Funktionsnamen und die erforderlichen Argumente spezifiziert.

Warum es wichtig ist

LLMs sind in ihrer Grundform Wissensmaschinen, keine Aktionsmaschinen. Function Calling schließt diese Lücke. Es ermöglicht die abstrakte Denkfähigkeit des LLM, mit den konkreten, realen Fähigkeiten externer Systeme wie Datenbanken, Wetterdiensten oder Buchungsplattformen verbunden zu werden. Dies verwandelt eine konversationelle KI in einen handelnden Agenten.

Wie es funktioniert

1. Tool-Definition: Entwickler stellen dem LLM ein Schema zur Verfügung (eine Beschreibung der verfügbaren Funktionen, ihrer Parameter und ihrer Funktion). Dies ist die „Tool-Definition“.
2. Benutzeranfrage: Der Benutzer stellt eine Anfrage (z. B. „Wie ist das Wetter in London?“).
3. Modellinferenz: Das LLM analysiert die Anfrage anhand der bereitgestellten Tool-Definitionen und stellt fest, dass die Funktion get_weather angemessen ist.
4. Funktionsaufruf-Ausgabe: Das LLM führt den Code nicht aus; es gibt eine strukturierte Aufrufanfrage zurück (z. B. {"name": "get_weather", "arguments": {"location": "London"}}).
5. Ausführung und Antwort: Die Anwendung, die das LLM hostet, empfängt diesen strukturierten Aufruf, führt den tatsächlichen externen API-Aufruf durch (z. B. an OpenWeatherMap) und gibt das Ergebnis an das LLM zurück.
6. Endgültige Antwort: Das LLM verwendet die zurückgegebenen Daten, um eine Antwort in natürlicher Sprache für den Benutzer zu formulieren.

Häufige Anwendungsfälle

• Datenabruf: Abfragen interner Unternehmensdatenbanken oder CRMs basierend auf konversationellen Eingaben.
• Aufgabenautomatisierung: Buchung von Terminen, Versenden von E-Mails oder Aktualisieren von Datensätzen über externe Dienste.
• Echtzeitinformationen: Abrufen von Live-Aktienkursen, Flugstatus oder aktuellen Wetterbedingungen.
• Komplexe Arbeitsabläufe: Orchestrierung mehrstufiger Prozesse, die sequentielle API-Aufrufe erfordern.

Hauptvorteile

• Erweiterbarkeit: Erweitert den funktionalen Umfang des LLM dramatisch über seine Trainingsdaten hinaus.
• Genauigkeit und Verankerung (Grounding): Stellt sicher, dass Antworten auf aktuellen, überprüfbaren externen Daten basieren und nicht auf potenziell veraltetem internem Wissen.
• Handlungsfähigkeit (Actionability): Versetzt die KI von rein informativ zu operativ.

Herausforderungen

• Schema-Verwaltung: Die Aufrechterhaltung genauer und umfassender Tool-Definitionen ist entscheidend für eine zuverlässige Leistung.
• Latenz: Der mehrstufige Prozess (Anfrage -> Aufruf -> Ausführung -> Antwort) führt zu zusätzlicher Latenz im Vergleich zu einer einzelnen Modellinferenz.
• Fehlerbehandlung: Es muss eine robuste Logik implementiert werden, um Fehler von externen APIs elegant zu behandeln.

Verwandte Konzepte

• Agenten: Function Calling ist eine Kernermöglichungstechnologie für den Aufbau autonomer KI-Agenten.
• Tool-Nutzung: Ein breiterer Begriff, der die Fähigkeit einer KI umfasst, externe Ressourcen zu nutzen.
• Prompt Engineering: Das Entwerfen des anfänglichen System-Prompts, um das Modell korrekt anzuweisen, wann und wie es die bereitgestellten Tools verwenden soll.