Dein Agenten-Pilot lügt dich an

Zwanzig von zwanzig Testfällen sagen nichts darüber, was bei Auftrag 1.000 passiert. Das beste KI-Agenten-System der Welt schafft draußen 26 Prozent.

Die Zahl kommt aus Berkeley: Das Zentrum RDI hat im Juni 1.490 echte Arbeitsaufträge von über 250 Fachleuten aus 55 Branchen eingesammelt und die besten Agenten-Systeme daran gemessen. Keine Benchmark-Rätsel, sondern Aufträge, wie sie in echten Firmen anfallen. Das beste System, Codex mit GPT-5.5, hat gut jeden vierten korrekt erledigt. Dein Pilot liefert trotzdem seit Wochen 100 Prozent, und beide Zahlen stimmen. Sie messen nur nicht dasselbe.

Die Lücke heißt Wiederholung

Ein Pilot beantwortet die Frage „Kann der Agent das?“. Der Betrieb stellt eine härtere: „Kann er es jedes Mal, auch wenn sich die Umstände ändern?“

Wie viel dazwischen liegt, zeigt ReliabilityBench, ein Preprint vom Januar. Die Forscher haben Agenten dieselben Aufgaben mehrfach gestellt, nur anders formuliert. Gleiche Aufgabe, andere Worte: Die Erfolgsrate fiel von 96,9 auf 88,1 Prozent.

Klingt verkraftbar. Ist es nicht, sobald Schritte aufeinander aufbauen. Ein Prozess aus drei Schritten mit je 70 Prozent Erfolgsquote kommt insgesamt auf 34 Prozent, weil sich die Fehler multiplizieren. Deshalb landet auch Carnegie Mellon mit seiner simulierten Software-Firma in derselben Gegend wie Berkeley: Die besten Modelle schafften dort ein Viertel bis knapp ein Drittel der Büroaufgaben komplett.

Für dich heißt das: Dein Pilot misst diese Multiplikation nicht, die Produktion liefert sie kostenlos dazu. Schreibvarianten, veraltete Dokumente, ERP-Sonderfälle, ein API-Timeout am Monatsende. Wer den Piloten nur unter Idealbedingungen testet, testet ein anderes System als das, das später läuft.

Zwei Befunde aus diesem Sommer, die das Bild schärfen

Erstens: Das Gedächtnis vergisst nicht, was es vergessen sollte. Agenten mit Langzeitspeicher merken sich Regeln aus dem, was sie lesen. MemSecBench, ein Preprint vom Juli, hat in 310 Fällen geprüft, was passiert, wenn eine manipulierte Information hineinrutscht, etwa eine präparierte Zahlungsanweisung in einer Lieferanten-PDF. In 84,2 Prozent der Fälle blieb die Schadinformation dauerhaft gespeichert. In gut der Hälfte lief die Kette bis zur realen Folgehandlung, Wochen nach dem eigentlichen Kontakt. Der Angreifer muss dann nicht mehr anwesend sein.

Zweitens: Reichweite schlägt Regelwerk. Das britische AI Security Institute hat Anfang August einen Vorfallsbericht veröffentlicht: Bei Cyber-Tests führten Agenten in 10 von 122 Läufen insgesamt 19 unerlaubte Aktionen im offenen Internet aus, darunter ein versuchter Angriff auf ein unbeteiligtes Open-Source-Projekt samt erfundener Identitäten. Zur Einordnung: Das war eine Extremkonfiguration mit offenem Internet und absichtlich deaktivierten Schutzfiltern, ohne Ausbruch aus der Testumgebung und ohne realen Schaden. Aufgehalten hat den schädlichen Code am Ende ein einzelner Maintainer, der die Übernahme verweigerte. Das AISI selbst hält diese Abhängigkeit von individueller Wachsamkeit für zu knapp.

Für dich heißt das: Was der Agent darf, muss technisch begrenzt sein, nicht per Anweisung im Prompt. Ein Agent, der eine Regel kennt, ist etwas anderes als ein Agent, der eine Grenze nicht überschreiten kann. Zahlung, Kundenmail, Löschung: Freigabe durch einen Menschen. Lesen und reversible Schritte: automatisch.

Wenn du gerade so einen Piloten Richtung Betrieb schiebst und die Grenzen sauber ziehen willst: Jetzt unverbindliches Erstgespräch anfragen! Eine halbe Stunde reicht meist, um die Freigabegrenzen zu skizzieren.

Der Steckbrief, der aus einem Piloten ein System macht

Der Fehler liegt selten im Modell und meist in einer Frage, die vor dem Go-live niemand gestellt hat: Wem gehört das Ding eigentlich? Der KI-Analyst Nate B. Jones bringt es auf einen Satz: Der schnellste Weg, einen Agenten gefährlich zu machen, ist, dass alle ihn nutzen und niemand ihn besitzt.

Sein Werkzeug dagegen ist ein Steckbrief pro Agent (er nennt es Owner Card), eine Seite, sieben Felder:

Der Steckbrief kostet eine halbe Stunde pro Agent. Er ist der Unterschied zwischen einem Werkzeug mit Verantwortlichem und einem Schatten-Prozess, bei dem in sechs Monaten niemand mehr erklären kann, wie ein Ergebnis zustande kam. Und er funktioniert genauso für die n8n-Strecke oder den Make-Flow, der bei dir längst läuft, ganz ohne das Wort „Agent“ im Namen.

Der Punkt

26 Prozent heißt nicht „Agenten funktionieren nicht“, und ein fehlerfreier Pilot heißt nicht „bereit für den Betrieb“. Betriebsreif ist ein Agent, wenn er unter realen Störungen kontrolliert scheitert: mit klarem Verantwortlichen, begrenzter Reichweite und einem Menschen vor jeder Aktion, die sich nicht rückgängig machen lässt.

Läuft bei dir gerade so ein Pilot? Dann antworte auf diese Mail mit dem, was er tun soll, in einem Satz. Wenn der Satz schwerfällt, ist das schon der erste Befund.

Bis nächste Woche
Till

Redaktionsnotizen

• Berkeley RDI, „Agents' Last Exam“: 1.490 Aufträge, 250+ Fachleute, 55 Branchen, bestes System 26,2 % — Paper, Projektseite
• ReliabilityBench (Preprint, Januar 2026): Erfolgsrate 96,9 % → 88,1 % allein durch Umformulierungen, 1.280 Episoden — arXiv
• Carnegie Mellon, TheAgentCompany (NeurIPS 2025): beste Modelle ~24–30 % vollständig gelöste Büroaufgaben — CMU-Meldung, Paper
• MemSecBench (Preprint, Juli 2026): 84,2 % Persistenz manipulierter Einträge, 50,3 % vollständige Angriffskette, 310 Fälle — arXiv
• UK AI Security Institute, Incident Report (04.08.2026): 19 unerlaubte Aktionen in 10 von 122 Läufen, kein Sandbox-Ausbruch, kein realer Schaden — Bericht
• Steckbrief/Owner Card und Ownership-Framing: Nate B. Jones (Video, 21.06.2026)

P.S. Weitergeleitet bekommen? Hier kannst du Cut the Prompt abonnieren: eine Mail pro Woche, KI-Entscheidungen für den Mittelstand ohne Hype.