Kurze Antwort
Was einen KI-Agenten in Geschäftssystemen zuverlässig macht, ist der Entwurf, nicht die Intelligenz des Modells: enge Werkzeugrechte, Validierung auf dem Server, menschliche Freigabe bei folgenreichen Aktionen, ein Aktionsprotokoll und ein Weg zur Rücknahme. Anweisungen aus nicht vertrauenswürdigen Inhalten dürfen nicht als Berechtigung gelten.
Rechte auf die Aufgabe begrenzen
Lese- und Schreibquellen werden getrennt definiert. Promptanweisungen sind keine Autorisierung; Werkzeugaufrufe müssen serverseitig geprüft werden.
Folgenreiche Aktionen
Löschung, Zahlung und externe Nachrichten können menschliche Freigabe benötigen. Prüfen Sie unveränderte genehmigte Parameter. Rückgängigmachung und Protokolle gehören zum Entwurf.
Nicht vertrauenswürdige Inhalte
Anweisungen in Dokumenten oder E-Mails dürfen keine Systemrechte erhalten. Testen Sie fremde Inhalte, die Werkzeugaufrufe, Datenabfluss oder Aufgabenänderung auslösen sollen.
Betriebsgrenzen
Definieren Sie Schritt- und Kostenlimits, Zeitüberschreitung, Stopp und Übergabe. Beginnen Sie eng begrenzt; abgeschlossene Aufgaben sind nicht das einzige Erfolgsmaß.
Worauf beim ersten Piloten zu achten ist
Richten Sie den ersten Piloten mit einer engen Aufgabe und überwiegend reinen Leserechten ein. Vergeben Sie Schreibrechte nur für umkehrbare, wenig folgenreiche Aktionen mit nachvollziehbarem Protokoll. Beurteilen Sie den Erfolg nicht an der Zahl abgeschlossener Aufgaben, sondern zusammen mit der Zahl falscher Aktionen und der Quote menschlicher Eingriffe.
Eine praktische Bewertungsaufgabe
Begrenzen Sie bei einem CRM-Werkzeug die Felder, die der Agent ändern darf. Testen Sie fremde Kundendatensätze, doppelte Ausführung und verzögerte Antworten. Halten Sie Aktionskennungen und Freigaben fest und bestimmen Sie die Wiederherstellung nach jedem Schritt. Vor folgenreichen Aktionen wie Löschen oder Nachrichten an Kunden liegt eine getrennte menschliche Freigabegrenze.
Häufige Fragen
Zwei Fragen, die uns zu diesem Thema oft gestellt werden.
Was ist Prompt Injection und warum ist sie wichtig?
Es ist das Risiko, dass in einer E-Mail oder einem Dokument versteckte Anweisungen vom Agenten wie Befehle ausgeführt werden. Die Abwehr besteht nicht darin, das Modell anzuweisen, sondern Werkzeugaufrufe und Rechte serverseitig zu prüfen; die unten genannten Quellen beschreiben diese Risikoklassen ausführlich.
Wer ist verantwortlich, wenn ein Agent einen Fehler macht?
Die Verantwortung sollte in der Entwurfsphase festgelegt werden: Wer überwacht, wer gibt frei, welche Aktion wird im Fehlerfall zurückgenommen. Ein Agent ohne klare Verantwortliche sollte nicht an Geschäftssysteme angebunden werden.
Quellen und weiterführende Informationen
