Warum agentische AI neue Risikokategorien schafft
Das Kernproblem beim Agentic-AI-Risiko besteht darin, dass das AI-System handelt, nicht nur antwortet. Ein Chatbot beantwortet eine Frage; ein Agent bucht einen Flug, sendet eine E-Mail oder ändert einen Datenbankeintrag. Die Konsequenzen einer agentischen Aktion liegen außerhalb des Systems selbst — was bedeutet, dass Fehler, Manipulation oder Richtlinienverstöße nicht immer durch die Überprüfung der Modell-Ausgabe erkannt werden können.
Drei Eigenschaften agentischer Systeme erweitern die Risikofläche über konventionelle AI hinaus:
- Mehrstufige Ausführung: Agenten zerlegen Ziele in Teilaufgaben und führen diese in Sequenz aus. Jeder Schritt schafft eine Gelegenheit für das System, eine unbeabsichtigte oder nicht autorisierte Aktion vorzunehmen.
- Tool-Nutzung: Agenten rufen externe APIs auf, lesen und schreiben Dateien, fragen Datenbanken ab und lösen Workflows aus. Diese Fähigkeiten verleihen dem Agenten eine reale Reichweite, die ein Chatbot nicht haben kann.
- Verarbeitung von Umgebungseingaben: Agenten rufen Inhalte aus der Umgebung ab und handeln danach — Webseiten, Dokumente, E-Mails. Diese Inhalte können feindselige Anweisungen enthalten, die darauf ausgelegt sind, das Verhalten des Agenten umzulenken — eine Technik, die als Prompt Injection bekannt ist.
Die vier Kategorien des Agentic-AI-Risikos
1. Unbefugter Zugriff und Privilegien-Eskalation
Agenten, die Tools nutzen, erben oft die Berechtigungen des Nutzers oder Systemkontos, das sie bereitstellt. Ohne eng gefasste Anmeldedaten nach dem Least-Privilege-Prinzip kann ein Agent Daten lesen, Endpunkte aufrufen oder Workflows auslösen, die er nie erreichen sollte. In Multi-Agenten-Architekturen kann ein kompromittierter oder fehlverhaltender Agent Berechtigungen über Systeme hinweg verketten, über den Umfang jeder einzelnen Autorisierungsentscheidung hinaus.
2. Datenexfiltration
Ein Agent mit Lesezugriff auf Geschäftssysteme und Schreibzugriff auf externe Kommunikationskanäle — E-Mail, Webhooks, API-Aufrufe — schafft einen Datenexfiltrationspfad, den herkömmliche DLP-Tools nicht sehen können. Das Risiko verstärkt sich, wenn Agenten so konfiguriert sind, dass sie Dokumente zusammenfassen, Berichte erstellen oder im Namen der Organisation auf externe Anfragen antworten.
3. Irreversible oder zerstörerische Aktionen
Anders als ein Chatbot, der eine Antwort generiert, die ein Mensch prüft, bevor er danach handelt, führen Agenten direkt aus. Ein falsch konfigurierter oder manipulierter Agent kann Datensätze löschen, Mitteilungen versenden, Finanztransaktionen ausführen oder Produktivsysteme ändern, bevor ein Mensch die Absicht oder die Aktion geprüft hat. Nicht alle dieser Auswirkungen lassen sich rückgängig machen.
4. Indirekte Prompt Injection
Wenn ein Agent nicht vertrauenswürdige externe Inhalte verarbeitet — ein abgerufenes Dokument, eine Webseite, eine E-Mail — können diese Inhalte Anweisungen einbetten, die darauf ausgelegt sind, das Ziel des Agenten zu kapern. Der Agent behandelt die eingeschleusten Anweisungen als legitime Aufgaben-Eingabe und führt sie im Autorisierungskontext des Systems aus, auf dem er läuft. Diese Angriffsklasse ist spezifisch für agentische Systeme und hat keine direkte Entsprechung in der konventionellen Anwendungssicherheit. Die OWASP LLM Top 10 führen Prompt Injection als das wichtigste Risiko für LLM-Anwendungen auf.
Agentic-AI-Risiko vs. traditionelles AI-Risiko
Traditionelle AI-Governance-Frameworks konzentrieren sich auf das Modellverhalten: Bias, Halluzination, Fairness und Sicherheit in den Ausgaben. Agentic-AI-Risiko ist ein anderes Problem — es betrifft, was der Agent in der Welt tut, nicht was das Modell sagt.
| Traditionelles AI-Risiko | Agentic-AI-Risiko | |
|---|---|---|
| Hauptanliegen | Modell-Ausgaben (Bias, Halluzination, Sicherheit) | Agenten-Aktionen (Tool-Calls, Datenzugriff, Nebenwirkungen) |
| Fehlermodus | Falsche oder schädliche Antwort | Nicht autorisierte oder irreversible Aktion |
| Beobachtbar durch | Überprüfung der Modell-Ausgabe | Prüfung von Tool-Calls, Zugriffsprotokollen, externen Effekten |
| Mitigationsschicht | Sicherheitstraining des Modells, Ausgabefilterung | Laufzeit-Durchsetzung von Richtlinien, menschliche Freigabe-Gates |
| Reversibilität | Meist reversibel — Antworten können ignoriert werden | Manchmal nicht — gesendete E-Mails, geänderte Datensätze, API-Aufrufe |
Wie sich Agentic-AI-Risiko mindern lässt
Wirksame Mitigation setzt auf der Infrastrukturschicht an, nicht auf der Prompt-Schicht:
- Tool-Zugriff nach Least-Privilege: Jeder Agent sollte über eng gefasste Anmeldedaten verfügen, die nur die spezifischen Tools und Datenbereiche erlauben, die für seine Aufgabe erforderlich sind. Sitzungsgebundene Anmeldedaten sollten ablaufen, sobald die Aufgabe abgeschlossen ist.
- Freigabe-Gates vor der Ausführung: Hochriskante Aktionen — das externe Versenden von Daten, das Ändern von Produktivdatensätzen, das Auslösen von Finanztransaktionen — sollten eine ausdrückliche menschliche Freigabe erfordern, bevor der Agent fortfährt.
- Manipulationssichere Audit-Protokolle: Jeder Tool-Call, jeder Datenzugriff und jede Modell-Entscheidung sollte mit einem strukturierten, unveränderlichen Eintrag protokolliert werden, der eine forensische Rekonstruktion ermöglicht, was der Agent getan hat und warum.
- Eingabe-Bereinigung für abgerufene Inhalte: Aus nicht vertrauenswürdigen Quellen abgerufene Inhalte sollten auf Prompt-Injection-Muster geprüft werden, bevor der Agent sie als Aufgaben-Eingabe verarbeitet.
- Kill-Switches und Notabschaltungen: Agentische Systeme sollten sich mitten in einer Aufgabe stoppen lassen, ohne den Zustand zu beschädigen, und die Stopp-Aktion sollte selbst protokolliert werden.
