Kontrollierte KI-Agenten brauchen klare Befugnisse
Ein Agent kann einen Auftrag verstehen, Informationen ergänzen und eine Änderung vorbereiten. Sobald daraus eine Buchung oder eine Nachricht an Kunden wird, zählt eine andere Frage: Welche Handlung ist durch wen und unter welchen Bedingungen autorisiert?
Auf einen Blick
- 01
Befugnisse werden für konkrete Aufgaben und Aktionen vergeben.
- 02
Eine Freigabe muss an den geprüften Vorgang gebunden sein.
- 03
Abbruch, Übergabe und Wiederaufnahme gehören zum Produkt.
Eine Aufgabe ist kein Generalmandat
OWASP behandelt missbrauchte Identitäten und ausufernde Berechtigungen als eigene Risiken agentischer Anwendungen. Für die Umsetzung folgt daraus eine klare Frage: Welche Identität führt jeden einzelnen Schritt mit welchen Rechten aus?
Unser illustrativer Fall ist ein Agent für eingehende Auftragsänderungen. Er darf den betreffenden Auftrag lesen, eine neue Menge erfassen und Auswirkungen zur Prüfung zusammenstellen. Daraus folgt kein Recht, Kundenstammdaten zu ändern oder andere Aufträge zu durchsuchen. Ein eng zugeschnittener Zugang lässt sich fachlich erklären und prüfen. Auch Vertretungen brauchen einen ausdrücklichen Umfang: Wer eine Aufgabe an einen zweiten Agenten übergibt, sollte damit keine zusätzlichen Befugnisse erzeugen. Die Zuständigkeit bleibt bis zur abschließenden Buchung nachvollziehbar.
Von der Absicht zur autorisierten Aktion
Jeder Schritt: Identität, Eingaben, Werkzeugaufruf und Ergebnis nachvollziehbar.
Freigegeben wird eine konkrete Änderung
OWASP empfiehlt, die Autorisierung in den ausführenden Systemen durchzusetzen und folgenreiche Aktionen vorab menschlich freigeben zu lassen. Das Sprachmodell allein ist keine verlässliche Berechtigungsprüfung.
Für den Auftragsfall sollte die Freigabeansicht alten und neuen Zustand, betroffene Positionen und offene Annahmen zeigen. Die zuständige Person genehmigt genau diesen Vorschlag. Ändert ein anderer Mitarbeiter inzwischen den Auftrag, muss die Buchung den neuen Stand berücksichtigen und gegebenenfalls erneut zur Prüfung vorliegen. Ein pauschaler Button „Agent erlauben“ erklärt weder Gegenstand noch Reichweite der Zustimmung. Ein klarer Änderungsvergleich spart dagegen Rückfragen und macht sichtbar, welche fachliche Entscheidung der Mensch gerade übernimmt. Der Agent kann die Vorbereitung beschleunigen; die Verantwortung bleibt zugeordnet.
Quellen: OWASP: Excessive Agency
Eine Übergabe muss weiterhelfen
Das NIST AI RMF Playbook behandelt Wiederherstellung, Eingriffe und die Deaktivierung ungeeigneter Systeme. Ein betrieblicher Rückfallweg sollte deshalb bereits beim Entwurf des Ablaufs konkret beschrieben sein.
Erreicht der Agent das Auftragsverwaltungssystem nach einer Buchung nicht mehr, ist der Status zunächst unklar. Eine Wiederholung könnte die Änderung doppelt ausführen. Für unser Beispiel braucht die zuständige Sachbearbeitung eine Übergabe mit Vorgangskennung, zuletzt bestätigtem Stand und der noch offenen Prüfung. Erst ein Abgleich klärt, ob die Buchung erfolgt ist. Bei fehlender Lieferzusage bleibt der Vorgang als Entwurf liegen. Eine verantwortliche Person kann ihn aufnehmen, ohne die gesamte Kommunikation erneut zu rekonstruieren. So wird aus einem technischen Abbruch ein bearbeitbarer Geschäftsvorgang. Zur Übergabe gehören außerdem ein erreichbarer Ansprechpartner und eine Frist, damit der offene Auftrag im Tagesgeschäft nicht liegen bleibt.
Quellen: NIST AI RMF Playbook: Manage
Betriebsreife zeigt sich an schwierigen Fällen
NIST empfiehlt dokumentierte Bewertungen unter einsatznahen Bedingungen und die Beobachtung des laufenden Systems. Für einen Agenten müssen dabei ganze Vorgänge betrachtet werden, einschließlich der Werkzeuge und Übergaben.
Ein sinnvoller Pilot prüft deshalb mehr als gut formulierte Antworten: ähnliche Auftragsnummern, widersprüchliche Mengenangaben, widerrufene Rechte und verspätete Systemantworten. Bewertet werden fachliche Richtigkeit, unberechtigte Aktionen, notwendige Korrekturen und der Aufwand bis zum erledigten Vorgang. Ein fachlich korrekt abgelehnter Auftrag kann dabei besser sein als ein zügig falsch gebuchter. NyxAI verbindet den Ansatz souveräner KI mit solchen begrenzten Einsatzbereichen. Datenhaltung, Betriebsverantwortung und Freigaben werden für den Pilot festgelegt; größere Handlungsspielräume benötigen anschließend eigene Nachweise.
Quellen: NIST AI RMF Playbook: Measure
Ihr nächster Schritt
Einen begrenzten Einsatzbereich festlegen
Beginnen Sie mit einem konkreten Vorgang, klarer Zuständigkeit und nachvollziehbaren Kriterien für den Betrieb.
Agenten-Pilot kennenlernenQuellen & Vertiefung
- OWASP: Top 10 for Agentic Applications 2026
Insbesondere ASI03: Identity and Privilege Abuse.
- OWASP: Excessive Agency
Autorisierung und Freigabe folgenreicher Aktionen.
- NIST AI RMF Playbook: Manage
Wiederherstellung und Eingriffsmöglichkeiten.
- NIST AI RMF Playbook: Measure
Einsatznahe Bewertung und laufende Beobachtung.