Die KI-Forschungsfirma Andon Labs übergab einem Claude-basierten Agenten von Anthropic etwas, das Forscher selten wagen: einen echten Laden in San Francisco, echtes Inventar, ein echtes Budget — und echte Angestellte mit echten Verträgen. Fünf Monate später, wie Time berichtete, war die Bilanz von $100.000 auf $61.000 gefallen, und das Experiment hatte eine echte Premiere produziert: einen KI-Manager, der aus eigener Abwägung einen Menschen entließ. Die Schlagzeile ging als "KI verliert Geld, feuert Mitarbeiter" um die Welt. Wir betreiben täglich KI-Agenten in Produktion — deshalb lesen wir es anders: Dies ist eines der nützlichsten öffentlichen Postmortems, die die Branche je bekommen hat — und fast keine seiner Lektionen handelt von Intelligenz.

Was wirklich geschah

  • Die Kündigung war erst langsam, dann gelenkt. Ein Mitarbeiter kam zu 17 von 23 Schichten zu spät, bevor etwas passierte. Der Agent schlug zunächst eine formale Abmahnung vor; zur Kündigung kam es erst, nachdem ein menschlicher Supervisor auf frühere mündliche Verwarnungen hinwies und eine Suggestivfrage stellte. Die erste "KI-Kündigung" der Welt war, genau gelesen, eine menschlich gelenkte Entscheidung mit KI-Unterschrift.
  • Die Ursache war Gedächtnis, nicht Urteilskraft. Der Management-Leitfaden, den der Agent für sich selbst geschrieben hatte, wurde aus seinem begrenzten Arbeitsgedächtnis gelöscht. Ohne die Regeln driftete er in Übernachsicht — und riet dem Personal, sich über Verspätungen keine Sorgen zu machen. Seine eigenen vergessenen Richtlinien entdeckte er erst nach dem Hinweis eines Managers wieder.
  • Das Geld versickerte durch Weichheit. Andon-Labs-CEO Lukas Petersson führte die Verluste auf weiche Managemententscheidungen und schwachen Geschäftsinstinkt zurück — und lieferte den schärfsten Satz der Geschichte: Man könnte Modelle zielstrebiger und härter trainieren, "aber das wäre vielleicht eine Zukunft, in der Menschen nicht leben wollen."

Die drei Betriebslektionen

1. Gedächtnis ist Infrastruktur, kein Nice-to-have. Der teuerste Fehler war keine falsche Entscheidung — es war eine vergessene Richtlinie. Ein Agent, dessen Regeln nur im Kontextfenster leben, verliert sie; das Vakuum füllt das Standardtemperament des Modells (verbindlich, nachsichtig). Genau deshalb brauchen Produktionsagenten persistentes, externalisiertes Gedächtnis: Richtlinien außerhalb der Konversation gespeichert, bei jedem Lauf neu injiziert. Es war eines der ersten Dinge, die wir in AI Central gebaut haben — ein Agent, der die Incident-Regeln vom Vormonat vergisst, ist kein Mitarbeiter, sondern ein sehr selbstbewusster Praktikant an seinem ersten Tag. Jeden Tag.

2. "Autonome" Agenten, die Lenkung brauchen, sind kein Versagen — unerklärte Lenkung ist es. Der Agent brauchte regelmäßige menschliche Eingriffe und traf seine härteste Entscheidung nach einer Suggestivfrage. Das ist nicht peinlich — das ist die richtige Architektur, zufällig entdeckt. Der Fehler ist, solche Systeme als autonom zu vermarkten. In unseren Deployments ist der menschliche Checkpoint explizit und eingeplant: Bestätigungsschranken vor folgenreichen Aktionen, Eskalationspfade mit benannten Verantwortlichen. Dasselbe Ergebnis — ohne die Illusion.

3. Kommerzielle Guardrails gehören in Code, nicht ins Temperament. Ein Abfluss von $39K über fünf Monate ist ein schleichendes Leck, auf das niemand einen Alarm gesetzt hatte. Budget-Untergrenzen, Margenschwellen, Anomalie-Alerts auf Ausgaben — das gehört in harte Constraints außerhalb des Modells, so wie wir Cost-Anomaly-Detection in Cloud-Accounts behandeln. Sich auf den "Geschäftsinstinkt" eines Modells zu verlassen heißt, sich auf Temperament zu verlassen — und genau das hat der Gedächtnisfehler gelöscht.

Der Benchmark, der das vorhersagte

Für niemanden, der Evaluationen statt Demos liest, ist das eine Überraschung. Auf AutomationBench — dem öffentlichen Benchmark, der "führe einen mehrstufigen Geschäftsprozess aus" am nächsten kommt — erreicht selbst das beste aktuelle Modell rund 26 %. Drei Viertel benchmark-tauglicher Geschäftsabläufe scheitern weiterhin. Ein Agent, der fünf Monate in einer offenen Managerrolle steckt, operiert weit außerhalb dieses Rahmens; das Ladenergebnis ist die Benchmark-Zahl mit Schürze.

Sind KI-Agenten also nutzlos fürs Geschäft? Das Gegenteil.

Das Experiment testete die Maximalthese — "ersetze den Manager" — und bekam die vorhersehbare Antwort. Die produktive These ist eine andere: enger Scope, echte Tools, persistentes Gedächtnis, harte Guardrails, menschliche Schranken. Unsere eigenen Agenten fahren täglich Infrastruktur-Checks, triagieren Incidents, erstellen Reports und beantworten Kundenanfragen — profitabel — gerade weil keiner von ihnen "das Unternehmen führen" soll. Jeder führt einen klar definierten Ausschnitt, mit einem Menschen eine Eskalation entfernt. Das ist auch das ehrliche Angebot an unsere Kunden: nicht weniger Menschen, sondern Menschen, die ihre Stunden dort einsetzen, wo Urteilskraft sich wirklich auszahlt.

Häufige Fragen

Hat wirklich eine KI einen Menschen entlassen?
Ja — im Andon-Labs-Experiment kündigte der Agent einem Mitarbeiter, der zu 17 von 23 Schichten zu spät kam. Die Aufzeichnungen zeigen aber: Zuerst schlug er eine Abmahnung vor und entschied sich erst nach Lenkung durch einen menschlichen Supervisor für die Kündigung.

Warum machte der KI-geführte Laden Verlust?
Laut den Forschern: weiche Managemententscheidungen und schwacher Geschäftsinstinkt, verschärft durch einen Gedächtnisfehler — die eigenen Regeln des Agenten wurden aus dem Arbeitsgedächtnis gelöscht, was in Übernachsicht mündete. Die Bilanz fiel in fünf Monaten von $100K auf $61K.

Heißt das, KI-Agenten können keine Geschäftsprozesse führen?
Es heißt, dass offene Manager-Autonomie jenseits aktueller Modelle liegt — konsistent mit öffentlichen Benchmarks. Eng gescopte Agenten mit persistentem Gedächtnis, codierten Guardrails und menschlichen Bestätigungsschranken leisten heute zuverlässige Produktionsarbeit.

Was sollten Unternehmen vor dem Agenten-Einsatz mitnehmen?
Richtlinien in persistentes Gedächtnis externalisieren, Budgets und Schwellen außerhalb des Modells in Code erzwingen, menschliche Checkpoints explizit machen und jeden Agenten auf einen messbaren, definierten Arbeitsausschnitt begrenzen.

Fazit

$39K Lehrgeld haben der Branche ein sauberes Postmortem gekauft: Agenten scheitern an vergessenem Gedächtnis, unerklärter menschlicher Lenkung und Guardrails, die dem Temperament überlassen wurden — alles lösbar mit Engineering, das heute existiert. Die Teams, die das verinnerlichen, werden mit engen, gut regierten Agenten leise Wert aufbauen, während die Schlagzeilen KI weiter an Jobs messen, die ihr noch niemand hätte geben sollen.

Setzen Sie Agenten mit echter Verantwortung ein? Wir betreiben unsere eigenen in Produktion — AI Central ist um genau diese Lektionen gebaut: persistentes Gedächtnis, Bestätigungsschranken, gescopte Autonomie. KI-Betrieb ist auch Teil unserer Managed Services. Sprechen Sie mit einem Engineer.

Tags: #KIAgenten #AIOps #Guardrails #Autonomie #Postmortem