Zum Inhalt springen

Die KI verstand die E-Mail richtig. Die Zahlung ging trotzdem an Betrüger.

KI-Agenten im Backoffice versprechen Entlastung. Doch wer entscheidet, was sie tatsächlich tun dürfen?

FachartikelHelpifyr Redaktion5 Min. Lesezeit
Die KI verstand die E-Mail richtig. Die Zahlung ging trotzdem an Betrüger.

KI-Agenten können Teams im Backoffice entlasten. Entscheidend ist, welche Arbeit sie übernehmen dürfen und wie kritische Handlungen geprüft werden.

Fachartikel · Helpifyr Redaktion · 7. November 2026

Das folgende Szenario ist fiktiv und beruht auf einem realen Betrugsmuster.

Freitag, 16:42 Uhr. In der Buchhaltung trifft eine E-Mail ein. Ein bekannter Lieferant bittet darum, seine Bankverbindung zu ändern, weil die nächste Zahlung bald fällig ist. Ein KI-Agent liest die Nachricht, erkennt den Lieferanten und versteht die Anfrage richtig. Dann ändert er die IBAN im ERP. Am Montag geht die Zahlung an einen Betrüger.

Die KI hat die Nachricht richtig verstanden. Der Agent hatte technischen Zugriff auf die Änderung. Ob die Anfrage tatsächlich vom Lieferanten stammte und geschäftlich autorisiert war, wurde nicht ausreichend geprüft.

Fiktiver ungeschützter Ablauf von der gefälschten E-Mail zur fehlgeleiteten Zahlung.

Was der heise-Artikel aufgreift

Der Fachartikel bei heise developer nimmt die Sicherheitsarchitektur von KI-Agenten im Backoffice zum Anlass für eine grundlegende Frage: Wie können Unternehmen Informationen aus externen Quellen verarbeiten, ohne ihnen damit automatisch Handlungsvollmacht zu geben?

Vier Risiken verdienen besondere Aufmerksamkeit:

  • Prompt Injection: Anweisungen in einer E-Mail oder einem PDF versuchen, den Agenten zu steuern.
  • Excessive Agency: Ein Agent verfügt über mehr Rechte als seine Aufgabe erfordert.
  • Agent Goal Hijacking: Eine Folge von Eingaben lenkt den Agenten auf ein anderes Ziel.
  • Memory und Context Poisoning: Manipulierte Informationen beeinflussen spätere Entscheidungen.

Nicht jede gefälschte Lieferantenmail ist Prompt Injection. Auch gewöhnlicher Zahlungsbetrug kann funktionieren, wenn eine nicht verifizierte Anfrage als Erlaubnis zum Handeln behandelt wird. Bessere Prompts und Guardrails helfen, sind aber keine ausreichende Grenze für kritische Aktionen.

Ein belastbarer Ansatz verbindet mehrere Bausteine: regelbasierte Entscheidungen ausserhalb des Modells, menschliche Freigaben bei kritischen Vorgängen, minimale Rechte und unabhängige Verifikation. Wie autonom ein Agent handeln darf, ist eine Gestaltungsentscheidung des Unternehmens.

Wie Helpifyr diese Herausforderung adressiert

Helpifyr ist ein Business Execution System, das Mitarbeitende, KI-Agenten und bestehende Unternehmenssoftware innerhalb definierter Grenzen verbinden soll. Die Architektur unterscheidet zwischen dem Verstehen von Informationen, der Zulassung von Fähigkeiten, der geschäftlichen Entscheidung und der tatsächlichen Ausführung.

Beispielhafter Kontrollablauf vom Eingang über die Prüfung bis zur Ausführung.

Die folgende Zuordnung beschreibt die vorgesehenen Kontrollprinzipien. Welche Kontrollen eine konkrete Integration durchsetzt, muss für den jeweiligen Einsatz geprüft werden:

RisikoKontrollansatz
Prompt InjectionExterne Inhalte als Daten behandeln und Anweisungen nicht allein wegen ihres Auftretens im Dokument ausführen.
Übermässige RechteFähigkeiten und Berechtigungen trennen; Zugriffe auf die jeweilige Aufgabe begrenzen.
Umgelenkte ZieleKritische Aktionen ausserhalb des Modells im Zusammenhang des gesamten Vorgangs prüfen.
Manipulierter KontextVerbindliche Stammdaten aus autoritativen Geschäftssystemen heranziehen und Änderungen prüfen.
Fehlende NachvollziehbarkeitAnfrage, Entscheidung, Freigabe und Ergebnis entsprechend dem Prozess dokumentieren.

Der Bankdaten-Fall als Sollablauf

Wie könnte derselbe Vorgang mit solchen Kontrollen aussehen? Jadda liest die E-Mail, erkennt den Lieferanten, die vorgeschlagene neue IBAN und die anstehende Zahlung und bereitet einen Änderungsantrag samt Quellen und Risikohinweisen vor.

Der Antrag bleibt offen, während die Buchhaltung die Änderung unabhängig bestätigt – über bereits hinterlegte Kontaktdaten, nicht über eine Nummer aus der verdächtigen Nachricht. Eine berechtigte Person gibt anschliessend genau diesen Vorgang und Datenstand frei. Ändert sich die IBAN nach der Freigabe, ist eine erneute Prüfung erforderlich.

Bei einer solchen Änderung sollten auch bereits vorbereitete und spätere Zahlungen nach den geltenden Regeln berücksichtigt werden. Eine autorisierte Integration kann die freigegebene Änderung ausführen und das Ergebnis im ERP zurücklesen. Im Betrugsfall würde die unabhängige Rückfrage ergeben, dass der Lieferant keine Änderung veranlasst hat.

Das ist ein konzeptioneller Sollablauf, kein Nachweis, dass jede genannte Kontrolle bereits in jeder Integration produktiv ist. Ein Pilot prüft die konkrete Kette und ihre alternativen Zugriffswege.

Minimale Rechte statt Generalschlüssel

Ein technisches Sammelkonto, das alles darf, was irgendein Agent brauchen könnte, vergrössert die Folgen eines Fehlers. Wer Rechnungen liest, benötigt nicht automatisch Rechte zur Änderung von Bankdaten oder zur Auslösung von Zahlungen. Die folgende Matrix veranschaulicht eine mögliche Aufgabentrennung.

Beispielhafte Rechteverteilung für Eingangs-Agent, Buchhaltungs-Agent und Integration.

So entsteht auch wirtschaftlicher Nutzen: Geeignete Routinearbeit kann automatisiert werden, während das Team seine Aufmerksamkeit auf Entscheidungen mit Folgen für Geld und Stammdaten richtet. Das schafft die Grundlage für mehr Leistung mit demselben Team – ohne erfundene Einsparungsquoten.

Nachvollziehbarkeit und Sicherheitsprüfung

Je nach Prozess können ein belastbarer Nachweis die ursprüngliche Anfrage und ihre Herkunft, den geprüften Datenstand, die freigebende Identität, die Entscheidung, den Ausführungsversuch und das Ergebnis im Zielsystem umfassen. Zugriffs- und Aufbewahrungsregeln müssen zu den Daten passen. Für bestimmte KI-Systeme stellt auch der EU AI Act Anforderungen an menschliche Aufsicht und Dokumentation; welche Vorgaben gelten, hängt vom jeweiligen Einsatz ab.

Eine Sicherheitsprüfung sollte nicht nur den gewünschten Ablauf zeigen. Was geschieht bei einer Änderung ohne Freigabe, mit abgelaufener Freigabe oder nach Austausch der IBAN? Greifen die Regeln auch über API-, Browser- und Workflow-Pfade? Und was meldet das Zielsystem tatsächlich zurück? Ein bestandener Test belegt seinen konkreten Umfang, keine absolute Sicherheit.

Drei Fragen an Ihren KI-Anbieter

  1. Was darf die KI tatsächlich verändern? Entscheidend ist die verbindliche Wirkung in Daten und Geschäftsprozessen.
  2. Wer stoppt eine falsche oder manipulierte Aktion? Gefragt ist eine Kontrolle, die unabhängig vom Modell und über relevante Zugriffswege greift.
  3. Lässt sich belegen, was passiert ist? Wer hat beantragt und freigegeben, und was hat das Zielsystem tatsächlich ausgeführt?

Ihr Ablauf im Pilot

Wählen Sie einen konkreten Prozess aus Ihrem Betrieb, etwa Rechnungsverarbeitung oder Stammdatenänderungen. Gemeinsam betrachten wir manuellen Aufwand, Automatisierungspotenzial, kritische Entscheidungen und die Grenzen, die im Pilot überprüft werden sollen.

Meinen KI-Pilotprozess besprechen

Quellen

heise developer: Sichere Architektur für KI-Agenten im Backoffice · OWASP: Prompt Injection · OWASP: Excessive Agency · OWASP: Agentic Security · UK NCSC: Prompt injection is not SQL injection

Redaktioneller Hinweis: Das Eingangsszenario ist fiktiv. heise ist eine unabhängige Fachquelle und hat Helpifyr nicht bewertet.

Wie würde das in Ihrem Betrieb aussehen?

Ein Pilot zeigt es an einem echten Ablauf.

Pilot anfragen

Mehr zu Sicherheit

Alle ansehen
Ephemeral Task Agents: Secure, On-Demand Capability with Credentialed IsolationSicherheit

2 Min.

Ephemeral Task Agents: Secure, On-Demand Capability with Credentialed Isolation

Today's work unlocks a new class of ephemeral-task agents: on-demand, short-lived agents materialized with precise credentials, workspace delivery, and contract-bound isolation. This brings rapid, auditable task execution without persistent footprint, while ensuring every instance is verifiably authorized and contained.

Lesen
Closing Unmanaged Credential Sources and Centralizing Secret Materialization Across the StackSicherheit

9 Min.

Closing Unmanaged Credential Sources and Centralizing Secret Materialization Across the Stack

The Helpifyr stack retired its last tracked htpasswd credential, activated bootstrapping and rotation in jhf-keystore, reconciled identity provisioning in jhf-heddle, landed Bobbin's checkpoint/restore chain, proved Boost fault/recovery evidence, and shipped Reed MCP JSON-RPC correctness fixes. This is not seven separate stories, but one: the closing of unmanaged surfaces and the shift to materialized, auditable pipelines.

Lesen