KI-Agenten im Unternehmen einsetzen: Was vor dem Go-live nötig ist

Was ein KI-Agent ist

Ein Sprachmodell allein erzeugt nur Text. Ein Agent ist ein Modell, das zusätzlich Tools aufrufen kann, zum Beispiel eine API, eine Datenbankabfrage oder eine E-Mail-Funktion.

Anthropic unterscheidet zwei Bauweisen. In einem Workflow werden Modelle und Tools „über vordefinierte Codepfade orchestriert“ (im Original: „orchestrated through predefined code paths“). In einem Agenten steuert das Modell seine Abläufe und seine Tool-Nutzung selbst („dynamically direct their own processes and tool usage“). Das Modell entscheidet über den nächsten Schritt.

Bei Client-Tools der Claude API gibt das Modell einen strukturierten Tool-Aufruf zurück. Ihre Anwendung führt die Operation aus und liefert das Ergebnis zurück. Setzen Sie Begrenzungen, Freigaben und Protokollierung in dieser Ausführungslogik durch. Server-Tools laufen auf der Infrastruktur von Anthropic. Sie benötigen eigene Zugriffs- und Nutzungsbegrenzungen.

Anthropic rät, die einfachste mögliche Lösung zu suchen und die Komplexität nur dann zu erhöhen, wenn es nötig ist. Wenn ein fester Workflow die Aufgabe erledigt, nehmen Sie den Workflow.

Mit einer klar definierten Aufgabe beginnen

Beschreiben Sie die Aufgabe in einem Satz. Nennen Sie, was hineingeht, was herauskommt und wann die Aufgabe erledigt ist. „Fragen zu unserem Unternehmen beantworten“ ist zu weit gefasst. „Den Status einer Bestellung nachschlagen und dem Kunden antworten“ ist eine Aufgabe.

Schreiben Sie auf, was der Agent nie tun darf. Diese Liste wird später zu Ihren Tool-Grenzen und Ihren Testfällen.

Legen Sie eine Abbruchbedingung fest. Anthropic schreibt, es sei üblich, Abbruchbedingungen wie eine maximale Zahl von Iterationen einzubauen, um die Kontrolle zu behalten. Ohne sie kann ein Agent in einer Schleife laufen und immer weiter das Modell und seine Tools aufrufen.

Die Rechte jedes Tools begrenzen

Die OWASP Top 10 für LLM-Anwendungen (2025) führen Excessive Agency als LLM06. Sie nennen drei Ursachen: zu viel Funktionalität, zu viele Berechtigungen und zu viel Autonomie.

Jede Ursache hat eine einfache Gegenmaßnahme:

• Funktionalität: Geben Sie dem Agenten nur die Tools, die die Aufgabe braucht. OWASP empfiehlt enge Tools statt offener, zum Beispiel kein Tool, das beliebige Shell-Befehle ausführt.
• Berechtigungen: Arbeiten Sie nach dem Prinzip der geringsten Rechte (Least Privilege). OWASP nennt als Beispiel eine Datenbankidentität mit reinem Lesezugriff für einen Agenten, der nur liest.
• Autonomie: Lassen Sie Aktionen mit großer Wirkung von einer Person freigeben, bevor sie laufen. Typische Fälle sind das Löschen von Daten, Zahlungen und E-Mails an Kunden.
• Setzen Sie Rechte im nachgelagerten System durch, nicht im Prompt. OWASP nennt das Complete Mediation: Das Zielsystem prüft die Berechtigung, nicht das Modell.

{
  "name": "get_order_status",
  "description": "Look up the status of one order by its ID. Read-only.",
  "input_schema": {
    "type": "object",
    "properties": {
      "order_id": { "type": "string" }
    },
    "required": ["order_id"]
  }
}

Prompt Injection einplanen

OWASP führt Prompt Injection als LLM01. Bei der indirekten Prompt Injection liest das Modell fremde Inhalte, etwa eine Webseite, eine Datei oder eine E-Mail. Versteckte Anweisungen darin verändern, was das Modell tut.

Ein Agent, der E-Mails liest und E-Mails senden kann, ist dafür angreifbar. Behandeln Sie alles, was der Agent liest, als nicht vertrauenswürdig. OWASP rät, Berechtigungen zu beschränken, für privilegierte Operationen eine menschliche Freigabe zu verlangen und nicht vertrauenswürdige Inhalte klar zu kennzeichnen. Beim Testen soll man das Modell wie einen nicht vertrauenswürdigen Nutzer behandeln.

OpenAI sagt in seinem Leitfaden zur Sicherheit von Agenten dasselbe: Agenten seien nicht perfekt („agents won't be perfect“). Beschränken Sie den Zugriff entsprechend. OpenAI rät außerdem, Tool-Freigaben zu aktivieren, damit Personen jede Operation prüfen können.

Vor jeder Änderung testen

Wenn Sie den Prompt, das Modell oder ein Tool ändern, kann sich das Verhalten ändern. Sie brauchen Testfälle, die vor jeder Änderung laufen, bevor sie live geht. Man nennt sie oft Evaluierungen oder Evals.

OpenAI beschreibt einen Trace als die durchgehende Aufzeichnung von Modellaufrufen, Tool-Aufrufen, Guardrails und Übergaben für einen Lauf („the end-to-end record of model calls, tool calls, guardrails, and handoffs for one run“). Die Doku rät, mit Traces Probleme zu finden und erst dann zu Datensätzen und wiederholbaren Eval-Läufen überzugehen, „sobald Sie wissen, was ein gutes Ergebnis ausmacht“ (im Original: „once you know what good looks like“). Geprüft werden zum Beispiel, ob das richtige Tool gewählt wurde und ob eine Änderung geholfen hat.

Anthropic empfiehlt umfangreiche Tests in Sandbox-Umgebungen, zusammen mit passenden Guardrails. Testen Sie einen Agenten nicht zuerst gegen Live-Systeme.

Ein erster Satz darf klein sein. Nehmen Sie 20 bis 50 echte Beispiele der Aufgabe. Fügen Sie die Fälle aus Ihrer Liste „darf nie passieren“ hinzu. Fügen Sie Fälle hinzu, in denen die Eingabe versteckte Anweisungen enthält. Führen Sie nach jeder Änderung alle Fälle aus und bewahren Sie die Ergebnisse auf.

Protokollieren, Kosten erfassen und die Übergabe planen

Protokollieren Sie jeden Lauf: die Eingabe, jeden Modellaufruf, jeden Tool-Aufruf mit Argumenten und Ergebnis sowie die endgültige Ausgabe. OWASP stellt fest, dass Logging und Monitoring Excessive Agency nicht verhindern, aber den Schaden begrenzen können. Sie zeigen, was passiert ist, und helfen beim Beheben.

Logs können personenbezogene Daten aus den Eingaben enthalten. Legen Sie fest, wer sie lesen darf, wie lange Sie sie aufbewahren und was Sie vor dem Speichern entfernen. Halten Sie diese Entscheidungen schriftlich fest.

Erfassen Sie die Kosten pro Aufgabe. Erfassen Sie für jede Antwort der Claude API die Token-Anzahl getrennt nach vier Kategorien: ungecachte Input-Tokens, in den Cache geschriebene Tokens, aus dem Cache gelesene Tokens und Output-Tokens. Berechnen Sie jede Kategorie mit dem Preis des verwendeten Modells. Berücksichtigen Sie zusätzliche Tool-Gebühren. Setzen Sie Grenzen. OWASP führt Unbounded Consumption als LLM10 und nennt Rate Limits, Kontingente, Timeouts und Queue-Limits als Maßnahmen.

Planen Sie die Übergabe an eine Person. Legen Sie fest, wann der Agent übergibt: bei einem Fehler, bei Erreichen der Abbruchbedingung oder wenn eine Person eine Aktion ablehnt. Anthropic beschreibt Agenten, die an Kontrollpunkten oder bei Blockaden auf Rückmeldung von Menschen warten. Stellen Sie sicher, dass die Aufgabe und das Log der bisherigen Schritte bei der Person ankommen, damit sie nicht bei null beginnt.

Die Reihenfolge der Arbeit

Prüfen Sie die Schutzmaßnahmen jedes Schritts, bevor Sie zum nächsten übergehen. Gehen Sie erst zum nächsten Schritt, wenn der aktuelle funktioniert.

• Schreiben Sie die Aufgabe, die Liste „darf nie passieren“ und die Abbruchbedingung auf.
• Probieren Sie zuerst einen festen Workflow. Nehmen Sie einen Agenten nur, wenn sich die Schritte nicht vorab festlegen lassen.
• Bauen Sie die Tools mit den geringsten Rechten. Beginnen Sie mit Tools, die nur lesen.
• Fügen Sie den Freigabeschritt für jede Aktion ein, die sich schwer rückgängig machen lässt.
• Erstellen Sie die Testfälle und führen Sie sie in einer Sandbox aus, nicht gegen Live-Systeme.
• Schalten Sie Logging, Kostenerfassung und Grenzen ein. Prüfen Sie, dass Sie einen ganzen Lauf nachlesen können.
• Lassen Sie den Agenten neben dem bestehenden Prozess laufen. Eine Person macht die Arbeit weiter und vergleicht.
• Stellen Sie Schritt für Schritt um. Halten Sie die Übergabe an eine Person funktionsfähig.