Alle Zahlen auf dieser Seite stammen von OpenAI selbst, aus der eigenen Ankündigung. Unabhängig nachgeprüft ist bisher wenig, und beim wichtigsten Wert – ARC-AGI-3 – hängt das Ergebnis stark davon ab, wie getestet wird: Je nach Prüfaufbau liegen die berichteten Werte zwischen rund 98,6 % und 99,9 %. Es gibt für diesen Benchmark keine einheitliche Konfiguration über verschiedene Systeme hinweg. „Bester Wert, den es je gab" heißt also nicht automatisch „direkt vergleichbar".
Wer es schon nutzen kann
Das ist der Punkt, der in vielen Meldungen untergeht: Angekündigt heißt nicht verfügbar.
- Zuerst ausgewählte Unternehmen Zum Start ging das Modell an eine begrenzte Zahl von Organisationen. Cybersecurity-Kunden aus OpenAIs Daybreak-Programm bekamen es zuerst.
- Danach die bezahlten ChatGPT-Pläne In den Tagen danach für Plus, Pro, Business und Enterprise.
- Und für Entwickler Über die OpenAI-API sowie über AWS Bedrock und Microsoft Azure.
Die Zahlen aus der Ankündigung
Alles Werte von OpenAI, gemessen auf dem eigenen Prüfstand.
- ARC-AGI-3 · abstraktes Schlussfolgern Rund 99 % – der Benchmark gilt damit als ausgereizt. Zum Vergleich: Claude Opus 5 liegt bei 30,2 %, GPT-5.6 Sol bei 7,8 %. Genau hier ist die Vergleichbarkeit aber eingeschränkt (siehe Hinweis oben).
- ExploitBench · Cybersecurity 100 %, also ein perfekter Wert. GPT-5.6 Sol kam auf 78,5 %, Claude Opus 5 auf 70 %.
- FrontierMath Tier 4 · höhere Mathematik 97,6 % gegenüber 87,8 % für Claude Fable 5.1.
- Terminal-Bench 4.0 · Programmieren 57,7 %.
- Agents' Last Exam · agentische Aufgaben 59,3 %.
- SRE-Bench · Reverse Engineering 88,0 % im ersten Versuch, 99,2 % innerhalb von vier Versuchen.
Computer Use – neu ist das Level, nicht die Funktion
Dass ein Modell den Rechner selbst bedient – klicken, tippen, Programme steuern –, gibt es nicht erst seit gestern. Computer Use läuft seit einer Weile, war bisher aber eher ein Versprechen als ein Werkzeug. Neu ist, wie zuverlässig es jetzt funktioniert.
Das sieht man an OSWorld 2.0, dem Benchmark dafür: 72,6 % gegenüber 65,7 % beim Vorgänger, bei rund 40 statt 75 Minuten pro Aufgabe. Also kein Sprung in der Funktion, sondern in der Trefferquote und im Tempo – und genau daran entscheidet sich, ob man so etwas im Alltag einsetzt oder nicht.
Ehrlich eingeordnet
- Der Sprung ist real Von 7,8 % auf rund 99 % im selben Benchmark innerhalb einer Modellgeneration ist keine Marketingzahl, die man wegdiskutieren kann. Auch der Abstand zu Claude ist deutlich.
- Benchmarks sind nicht die Praxis Ein Test, den ein Modell ausreizt, sagt vor allem, dass der Test zu Ende ist. Wie sich das im Alltag anfühlt, weiß man erst, wenn es breit verfügbar ist und Leute damit echte Arbeit machen.
- Rechne mit Kosten pro Aufgabe Brockman selbst verschiebt den Maßstab weg vom Preis pro Token hin zum „price per task". Das ist ein Hinweis darauf, dass solche Läufe teuer sind – die Benchmark-Auswertungen liegen im vier- bis fünfstelligen Bereich.
- 100 % auf einem Exploit-Benchmark ist keine reine Erfolgsmeldung Ein Modell, das Sicherheitslücken zuverlässig ausnutzen kann, ist für Verteidiger nützlich und für Angreifer ebenso. Dass die Cybersecurity-Partner es zuerst bekommen haben, ergibt vor diesem Hintergrund Sinn.
Originalquellen
- OpenAI: GPT-6 Astra Die offizielle Ankündigung mit allen Benchmark-Charts und dem Release-Video.
- ARC Prize: Ergebnisse zu GPT-6 Astra Die unabhängige Auswertung – hier siehst du, wie stark das Ergebnis vom Prüfaufbau abhängt.
- Axios: OpenAI releases Astra, says it may represent AGI Bericht vom Presse-Call, inklusive der Brockman-Zitate.
- Engadget: „most intelligent and aligned model in the world" Verfügbarkeit, Rollout-Reihenfolge und die Benchmark-Zahlen im Überblick.
- VentureBeat: „Welcome to the AGI era" Mit dem Hinweis, warum ARC-AGI-Werte zwischen Systemen nicht direkt vergleichbar sind.