Die KI verstand die E-Mail richtig. Die Zahlung ging trotzdem an Betrüger.
KI-Agenten im Backoffice versprechen Entlastung. Doch wer entscheidet, was sie tatsächlich tun dürfen?

KI-Agenten können Teams im Backoffice entlasten. Entscheidend ist, welche Arbeit sie übernehmen dürfen und wie kritische Handlungen geprüft werden.
Fachartikel · Helpifyr Redaktion · 7. November 2026
Das folgende Szenario ist fiktiv und beruht auf einem realen Betrugsmuster.
Freitag, 16:42 Uhr. In der Buchhaltung trifft eine E-Mail ein. Ein bekannter Lieferant bittet darum, seine Bankverbindung zu ändern, weil die nächste Zahlung bald fällig ist. Ein KI-Agent liest die Nachricht, erkennt den Lieferanten und versteht die Anfrage richtig. Dann ändert er die IBAN im ERP. Am Montag geht die Zahlung an einen Betrüger.
Die KI hat die Nachricht richtig verstanden. Der Agent hatte technischen Zugriff auf die Änderung. Ob die Anfrage tatsächlich vom Lieferanten stammte und geschäftlich autorisiert war, wurde nicht ausreichend geprüft.

01
Was der heise-Artikel aufgreift
Der Fachartikel bei heise developer nimmt die Sicherheitsarchitektur von KI-Agenten im Backoffice zum Anlass für eine grundlegende Frage: Wie können Unternehmen Informationen aus externen Quellen verarbeiten, ohne ihnen damit automatisch Handlungsvollmacht zu geben?
Vier Risiken verdienen besondere Aufmerksamkeit:
- Prompt Injection: Anweisungen in einer E-Mail oder einem PDF versuchen, den Agenten zu steuern.
- Excessive Agency: Ein Agent verfügt über mehr Rechte als seine Aufgabe erfordert.
- Agent Goal Hijacking: Eine Folge von Eingaben lenkt den Agenten auf ein anderes Ziel.
- Memory und Context Poisoning: Manipulierte Informationen beeinflussen spätere Entscheidungen.
Nicht jede gefälschte Lieferantenmail ist Prompt Injection. Auch gewöhnlicher Zahlungsbetrug kann funktionieren, wenn eine nicht verifizierte Anfrage als Erlaubnis zum Handeln behandelt wird. Bessere Prompts und Guardrails helfen, sind aber keine ausreichende Grenze für kritische Aktionen.
Ein belastbarer Ansatz verbindet mehrere Bausteine: regelbasierte Entscheidungen ausserhalb des Modells, menschliche Freigaben bei kritischen Vorgängen, minimale Rechte und unabhängige Verifikation. Wie autonom ein Agent handeln darf, ist eine Gestaltungsentscheidung des Unternehmens.
02
Wie Helpifyr diese Herausforderung adressiert
Helpifyr ist ein Business Execution System, das Mitarbeitende, KI-Agenten und bestehende Unternehmenssoftware innerhalb definierter Grenzen verbinden soll. Die Architektur unterscheidet zwischen dem Verstehen von Informationen, der Zulassung von Fähigkeiten, der geschäftlichen Entscheidung und der tatsächlichen Ausführung.

Die folgende Zuordnung beschreibt die vorgesehenen Kontrollprinzipien. Welche Kontrollen eine konkrete Integration durchsetzt, muss für den jeweiligen Einsatz geprüft werden:
| Risiko | Kontrollansatz |
|---|---|
| Prompt Injection | Externe Inhalte als Daten behandeln und Anweisungen nicht allein wegen ihres Auftretens im Dokument ausführen. |
| Übermässige Rechte | Fähigkeiten und Berechtigungen trennen; Zugriffe auf die jeweilige Aufgabe begrenzen. |
| Umgelenkte Ziele | Kritische Aktionen ausserhalb des Modells im Zusammenhang des gesamten Vorgangs prüfen. |
| Manipulierter Kontext | Verbindliche Stammdaten aus autoritativen Geschäftssystemen heranziehen und Änderungen prüfen. |
| Fehlende Nachvollziehbarkeit | Anfrage, Entscheidung, Freigabe und Ergebnis entsprechend dem Prozess dokumentieren. |
03
Der Bankdaten-Fall als Sollablauf
Wie könnte derselbe Vorgang mit solchen Kontrollen aussehen? Jadda liest die E-Mail, erkennt den Lieferanten, die vorgeschlagene neue IBAN und die anstehende Zahlung und bereitet einen Änderungsantrag samt Quellen und Risikohinweisen vor.
Der Antrag bleibt offen, während die Buchhaltung die Änderung unabhängig bestätigt – über bereits hinterlegte Kontaktdaten, nicht über eine Nummer aus der verdächtigen Nachricht. Eine berechtigte Person gibt anschliessend genau diesen Vorgang und Datenstand frei. Ändert sich die IBAN nach der Freigabe, ist eine erneute Prüfung erforderlich.
Bei einer solchen Änderung sollten auch bereits vorbereitete und spätere Zahlungen nach den geltenden Regeln berücksichtigt werden. Eine autorisierte Integration kann die freigegebene Änderung ausführen und das Ergebnis im ERP zurücklesen. Im Betrugsfall würde die unabhängige Rückfrage ergeben, dass der Lieferant keine Änderung veranlasst hat.
Das ist ein konzeptioneller Sollablauf, kein Nachweis, dass jede genannte Kontrolle bereits in jeder Integration produktiv ist. Ein Pilot prüft die konkrete Kette und ihre alternativen Zugriffswege.
04
Minimale Rechte statt Generalschlüssel
Ein technisches Sammelkonto, das alles darf, was irgendein Agent brauchen könnte, vergrössert die Folgen eines Fehlers. Wer Rechnungen liest, benötigt nicht automatisch Rechte zur Änderung von Bankdaten oder zur Auslösung von Zahlungen. Die folgende Matrix veranschaulicht eine mögliche Aufgabentrennung.

So entsteht auch wirtschaftlicher Nutzen: Geeignete Routinearbeit kann automatisiert werden, während das Team seine Aufmerksamkeit auf Entscheidungen mit Folgen für Geld und Stammdaten richtet. Das schafft die Grundlage für mehr Leistung mit demselben Team – ohne erfundene Einsparungsquoten.
05
Nachvollziehbarkeit und Sicherheitsprüfung
Je nach Prozess können ein belastbarer Nachweis die ursprüngliche Anfrage und ihre Herkunft, den geprüften Datenstand, die freigebende Identität, die Entscheidung, den Ausführungsversuch und das Ergebnis im Zielsystem umfassen. Zugriffs- und Aufbewahrungsregeln müssen zu den Daten passen. Für bestimmte KI-Systeme stellt auch der EU AI Act Anforderungen an menschliche Aufsicht und Dokumentation; welche Vorgaben gelten, hängt vom jeweiligen Einsatz ab.
Eine Sicherheitsprüfung sollte nicht nur den gewünschten Ablauf zeigen. Was geschieht bei einer Änderung ohne Freigabe, mit abgelaufener Freigabe oder nach Austausch der IBAN? Greifen die Regeln auch über API-, Browser- und Workflow-Pfade? Und was meldet das Zielsystem tatsächlich zurück? Ein bestandener Test belegt seinen konkreten Umfang, keine absolute Sicherheit.
06
Drei Fragen an Ihren KI-Anbieter
- Was darf die KI tatsächlich verändern? Entscheidend ist die verbindliche Wirkung in Daten und Geschäftsprozessen.
- Wer stoppt eine falsche oder manipulierte Aktion? Gefragt ist eine Kontrolle, die unabhängig vom Modell und über relevante Zugriffswege greift.
- Lässt sich belegen, was passiert ist? Wer hat beantragt und freigegeben, und was hat das Zielsystem tatsächlich ausgeführt?
07
Ihr Ablauf im Pilot
Wählen Sie einen konkreten Prozess aus Ihrem Betrieb, etwa Rechnungsverarbeitung oder Stammdatenänderungen. Gemeinsam betrachten wir manuellen Aufwand, Automatisierungspotenzial, kritische Entscheidungen und die Grenzen, die im Pilot überprüft werden sollen.
08
Quellen
heise developer: Sichere Architektur für KI-Agenten im Backoffice · OWASP: Prompt Injection · OWASP: Excessive Agency · OWASP: Agentic Security · UK NCSC: Prompt injection is not SQL injection
Redaktioneller Hinweis: Das Eingangsszenario ist fiktiv. heise ist eine unabhängige Fachquelle und hat Helpifyr nicht bewertet.
Wie würde das in Ihrem Betrieb aussehen?
Ein Pilot zeigt es an einem echten Ablauf.
Mehr zu Sicherheit
Alle ansehen
Sicherheit2 Min.
Ephemeral Task Agents: Secure, On-Demand Capability with Credentialed Isolation
Today's work unlocks a new class of ephemeral-task agents: on-demand, short-lived agents materialized with precise credentials, workspace delivery, and contract-bound isolation. This brings rapid, auditable task execution without persistent footprint, while ensuring every instance is verifiably authorized and contained.
Lesen
Sicherheit2 Min.
Fail-Closed Secrets Scanning: Closing the Gaps in Historical Exposure for Insurance Broker Core
Today, the insurance-broker-core platform gains a new fail-closed gate on its full history: every commit, old and new, is now scanned for secrets before it can pass. This closes the last loophole for accidental credential exposure, making historical codebase hygiene enforceable by contract.
Lesen
Sicherheit9 Min.
Closing Unmanaged Credential Sources and Centralizing Secret Materialization Across the Stack
The Helpifyr stack retired its last tracked htpasswd credential, activated bootstrapping and rotation in jhf-keystore, reconciled identity provisioning in jhf-heddle, landed Bobbin's checkpoint/restore chain, proved Boost fault/recovery evidence, and shipped Reed MCP JSON-RPC correctness fixes. This is not seven separate stories, but one: the closing of unmanaged surfaces and the shift to materialized, auditable pipelines.
Lesen