Claude Opus 5 Benchmarks: Was die Zahlen wirklich aussagen
Anthropic hat Benchmark-Zahlen für Claude Opus 5 veröffentlicht, verglichen mit den hauseigenen Modellen Fable 5 und Opus 4.8 sowie mit OpenAIs GPT-5.6 Sol. Wir betreiben täglich KI-Agenten in Produktion — unseren eigenen Betrieb eingeschlossen — und lesen solche Tabellen deshalb anders als eine Schlagzeile am Launch-Tag: nicht „wer hat gewonnen“, sondern welche Fähigkeiten sich bewegt haben und was das für Teams ändert, die so etwas ausrollen. Hier die vollständige Tabelle, dann die Lesart.
Die Zahlen (wie von Anthropic veröffentlicht)
| Benchmark | Opus 5 | Fable 5 | Opus 4.8 | GPT-5.6 Sol |
|---|---|---|---|---|
| Agentisches Terminal-Coding (Frontier-Bench v0.1) | 43.3% | 33.7% | 21.1% | 34.4% |
| Wissensarbeit (GDPval-AA v2, Elo) | 1861 | 1747 | 1593 | 1736 |
| Neuartige Problemlösung (ARC-AGI-3) | 30.2% | — | 1.5% | 7.8% |
| Agentische Suche (BrowseComp) | 90.8% | 87.4% | 84.3% | 90.4% |
| Humanity's Last Exam — ohne Tools | 56.3% | 56.5% | 49.8% | — |
| Humanity's Last Exam — mit Tools | 64.7% | 63.9% | 57.9% | — |
| Computer Use (OSWorld 2.0) | 70.6% | 66.1% | 55.7% | 62.6% |
| Agentisches Coding (DeepSWE v1.1) | 68.8% | 69.7% | 59.0% | 72.7% |
| Agentisches Coding (FrontierCode v1.1, Main) | 53.4% | 53.5% | 46.5% | 47.5% |
| Business-Workflows (AutomationBench) | 26.0% | 17.4% | 17.0% | 18.1% |
| Recht (Legal Agent Benchmark, held-out) | 11.7% | 13.3% | 10.4% | 2.5% |
| Gesundheit (HealthBench Professional) | 59.8% | 66.0% (Mythos 5) | 57.4% | 60.5% |
| Biologie (BioMysteryBench, hard) | 49.4% | 46.5% | 42.4% | — |
| Biologie (BioMysteryBench, human-solved) | 90.1% | 89.0% (Mythos 5) | 88.5% | — |
Quelle: Anthropics veröffentlichter Vergleich. Der übliche Vorbehalt gilt: Das sind vom Anbieter veröffentlichte Zahlen auf vom Anbieter ausgewählten Benchmarks — behandeln Sie sie als Richtwerte, bis unabhängige Evaluierungen vorliegen. Mit Mythos 5 markierte Zellen kennzeichnen Zeilen, in denen Anthropic nur für diese Variante einen Wert veröffentlicht hat. Eine Anmerkung zu den Namen: Fable 5 und Mythos 5 teilen sich dasselbe zugrunde liegende Modell; Fable ist die allgemein verfügbare Variante mit zusätzlichen Sicherheitsmaßnahmen, Mythos die Variante für zugelassene Organisationen.
Die drei Zahlen, auf die es wirklich ankommt
- ARC-AGI-3: 1.5% → 30.2% in einer Generation. Das ist der Ausreißer in der Tabelle. ARC-AGI ist bewusst so angelegt, dass Auswendiglernen nicht hilft — getestet wird das Lösen wirklich neuartiger Rätsel. Ein 20x-Sprung (bei GPT-5.6 mit 7.8%) ist die Art von Diskontinuität, die üblicherweise auf eine echte Fähigkeitsänderung hindeutet, nicht auf Benchmark-Tuning. Hält das Ergebnis unabhängiger Prüfung stand, ist „das Modell bricht bei Problemen ein, die es noch nie gesehen hat“ — der klassische Enterprise-Einwand — gerade deutlich schwächer geworden.
- AutomationBench: 26.0% gegenüber ~17-18% bei allen anderen. Die Automatisierung von Business-Workflows ist der Benchmark, der dem am nächsten kommt, wofür unsere Kunden KI tatsächlich kaufen — mehrstufige Prozesse über echte Tools hinweg. Zwei Lesarten: Opus 5 hat sich klar abgesetzt, und die absolute Zahl liegt bei 26%. Drei Viertel der Business-Workflows auf Benchmark-Niveau scheitern weiterhin. Genau deshalb entwerfen wir Agenten mit engem Scope, Checkpoints und Eskalation an Menschen statt „die Abteilung automatisieren“.
- OSWorld 2.0: 70.6%. Computer Use hat das „Demo“-Terrain (55.7% eine Generation zuvor) in Richtung „unter Aufsicht nutzbar“ verlassen. Bildschirmsteuernde Agenten für Legacy-Systeme ohne APIs werden zu einer echten Integrationsoption — wir prototypisieren sie bereits für interne Workflows.
Wo die ehrlichen Sternchen hingehören
- GPT-5.6 Sol gewinnt DeepSWE (72.7% vs 68.8%). Bei einem der beiden Benchmarks für agentisches Coding führt OpenAI — während Opus 5 den anderen (FrontierCode) und das Terminal-Coding mit deutlichem Abstand für sich entscheidet. Lesart: Die Führung beim Coding ist umkämpft und benchmarkabhängig, und genau deshalb schlägt Multi-Model-Routing die Treue zu einem einzelnen Anbieter.
- Fable 5 zieht stellenweise mit Opus 5 gleich oder schlägt es — HLE ohne Tools, FrontierCode, Recht. Dass das Mid-Tier-Modell zu (typischerweise) niedrigeren Kosten so dicht dran ist, zählt für Ihre Rechnung mehr als die Rekorde des Flaggschiffs: Die meisten Produktions-Workloads brauchen das Flaggschiff nicht.
- Die Zeile „Recht“ ist die stille Warnung der Tabelle: Claude-Modelle liegen bei 10-13%, GPT-5.6 bei 2.5% — alle niedrig. Selbst das beste Modell scheitert an ~7 von 8 Held-out-Aufgaben für Legal Agents. Wer Ihnen 2026 einen autonomen Legal Agent verkauft, verkauft der Datenlage voraus.
Was sich dadurch in der Praxis ändert
Unsere operativen Schlussfolgerungen aus dem Betrieb von KI-Agenten in Produktion (unsere eigene AiMon- und Agenten-Schicht eingeschlossen): (1) Nach Aufgabe routen, nicht nach Marke. Die Tabelle selbst spricht dafür — verschiedene Modelle gewinnen verschiedene Zeilen, und die Mid-Tier-Modelle liegen so dicht dran, dass alles an ein Flaggschiff zu schicken eine Abrechnungsentscheidung ist, keine Engineering-Entscheidung. Unser Leitfaden „Welche KI ist wofür besser“ behandelt die Routing-Logik. (2) Ihre Evals erneut fahren, nicht deren. Anbieter-Benchmarks sagen, dass ein neues Modell existiert; nur Ihre Regressionssuite auf Ihren tatsächlichen Prompts sagt, ob Sie wechseln sollten. Teams ohne Eval-Set wählen Modelle per Pressemitteilung. (3) Die Fähigkeiten laufen dem Betrieb davon. Die Lücke zwischen einem ARC-Score von 30% und einem verlässlichen Produktionssystem besteht aus Monitoring, Guardrails, Kostenkontrolle und Fallbacks — der unglamourösen Schicht, in der KI-Projekte tatsächlich leben oder sterben. Diese Schicht ist unser Tagesgeschäft; wird die Modellschicht besser, steigt nur, was sie tragen kann.
Häufige Fragen
Ist Opus 5 besser als GPT-5.6?
In Anthropics veröffentlichter Tabelle führt Opus 5 die meisten Zeilen an — deutlich bei neuartiger Problemlösung, Computer Use und Business-Workflows — während GPT-5.6 Sol einen Benchmark für agentisches Coding (DeepSWE) gewinnt. Umkämpft, benchmarkabhängig und auf Ihren eigenen Workloads zu überprüfen.
Was ist der Unterschied zwischen Fable 5 und Mythos 5?
Beide teilen sich dasselbe zugrunde liegende Modell. Fable 5 ist allgemein verfügbar und enthält zusätzliche Sicherheitsmaßnahmen für Dual-Use-Fähigkeiten; Mythos 5 ist ohne diese Maßnahmen ausschließlich für zugelassene Organisationen verfügbar.
Warum ist das ARC-AGI-3-Ergebnis bedeutsam?
ARC-AGI ist so angelegt, dass Auswendiglernen nicht hilft, und testet wirklich neuartige Problemlösung. Der Sprung von 1.5% (Opus 4.8) auf 30.2% in einer Generation — gegenüber 7.8% bei GPT-5.6 — deutet auf eine echte Fähigkeitsverschiebung statt auf Benchmark-Tuning hin, vorbehaltlich unabhängiger Überprüfung.
Sollten wir in Produktion das Modell wechseln?
Nicht aufgrund einer Pressemitteilung. Fahren Sie Ihre eigene Evaluierungssuite auf Ihren tatsächlichen Prompts und Tools erneut, vergleichen Sie die Kosten pro Aufgabe (nicht pro Token) und prüfen Sie zuerst das Mid-Tier — die veröffentlichten Zahlen zeigen Mid-Tier-Modelle bei vielen Aufgaben dicht an den Flaggschiffen.
Fazit
Die Opus-5-Tabelle zeigt echte Bewegung — vor allem bei neuartiger Problemlösung und Workflow-Automatisierung — mit ehrlichen Sternchen: eine umkämpfte Coding-Krone, Mid-Tier-Modelle dicht auf den Fersen der Flaggschiffe und Legal Agents, die weiterhin an 7 von 8 Aufgaben scheitern. Die Modelle werden in ihrem Job immer besser; ob sie in Ihrem besser werden, entscheiden Evals, Routing und die operative Schicht drumherum.
Betreiben Sie KI-Workloads in Produktion — oder planen Sie es? Wir betreiben täglich unsere eigenen KI-Agenten und führen Bedrock- und LLM-Operations für Kunden im Rahmen unserer AWS Managed Services: Modell-Routing, Kostenkontrolle, Evals und die Monitoring-Schicht, die alles ehrlich hält. Beginnen Sie mit einem Gespräch.