Im Oktober 2025 erstattete Deloitte der australischen Regierung Geld zurück. Das Unternehmen hatte dem Department of Employment and Workplace Relations eine Prüfung im Wert von 440.000 AU$ geliefert; der veröffentlichte Bericht enthielt ein erfundenes Zitat aus einem Bundesgerichtsurteil sowie Verweise auf akademische Arbeiten, die nicht existieren (The Guardian, 2025). Eine überarbeitete Fassung legte offen, dass GPT-4o beim Verfassen eingesetzt worden war. Spätere Berichte bezifferten die Rückerstattung auf rund 97.000 AU$ — die letzte Rate des Vertrags.
Ein Detail wiegt schwerer als das Geld. Die Erfindungen wurden weder von der internen Prüfung des Unternehmens noch von der des Auftraggebers entdeckt. Sie wurden von einem externen Wissenschaftler aufgedeckt, der die Quellenangaben überprüfte. Das Dokument hatte jede Kontrollstufe passiert, für die es konzipiert war — weil darin nichts falsch aussah.
Das ist die eigentliche Kategorie: nicht das Modell, das versagt, sondern das Modell, das antwortet. Bittet man ein Sprachmodell, den Umsatz über zweihundert Zeilen zu summieren, erhält man eine Antwort mit der richtigen Größenordnung, dem richtigen Währungssymbol und einem selbstsicheren Satz drumherum. Was man nicht zuverlässig erhält, ist die Summe. Eine fehlende Antwort fällt auf. Eine falsche Antwort mit guter Haltung wird an den Vorstand weitergeleitet.
Und die Haltung bricht nie, weil auch die Selbstsicherheit generierter Text ist. Das Modell weiß nicht, dass es falsch liegt; es gibt keinen inneren Alarm, der unterdrückt werden müsste. Der Satz, der die Zahl behauptet, und die Zahl selbst stammen aus derselben Quelle — dem nächsten wahrscheinlichen Token.
Plausibel ist nicht berechnet
Der Reflex ist, falsche Zahlen unter Modellreife abzulegen: Die nächste Version wird schon richtig addieren. Die Forschung sagt, das Versagen ist strukturell — und sie ist ungewöhnlich einig darüber, warum.
GPT-4, aufgefordert, zwei dreistellige Zahlen zu multiplizieren, lag zu 59 % richtig ohne Vorgaben; ChatGPT zu 55 % (arXiv, 2023). Bei vier Stellen fiel GPT-4 auf 3 %. Bei fünf auf 0 %. Die Autoren von Faith and Fate verfolgten den Mechanismus: Transformer lösen kompositionelle Probleme, indem sie linearisierte Fragmente des Gesehenen abgleichen — Mustererkennung, kein Verfahren. Der Abfall liegt genau dort, wo die Muster enden.
Addition ist nicht sicherer. Eine Analyse von 2025 ergab, dass LLMs mit einer Ein-Stellen-Vorausschau-Heuristik addieren statt mit einem Algorithmus: Die Genauigkeit bricht genau dort ein, wo Überträge mehr als eine Stelle kaskadieren — unabhängig von Prompting oder Tokenisierung, und die Fehler sind allein aus der Übertragsstruktur vorhersagbar (arXiv, 2025). Systematisch, nicht zufällig. Das Modell rechnet nicht annähernd. Es tut etwas anderes, das oft mit Rechnen übereinstimmt.
Apples GSM-Symbolic schloss das verbleibende Schlupfloch — dass dies vielleicht nur schwierige Arithmetik betrifft (Apple, 2024). Man nehme Grundschul-Textaufgaben und ändere nichts außer den Zahlen: Jedes getestete Spitzenmodell wurde schlechter. Fügt man eine plausibel klingende, aber irrelevante Klausel hinzu, fiel die Genauigkeit um bis zu 65 %. Und die Genauigkeit schwankte merklich über verschiedene Instanziierungen desselben Fragetemplates — dieselbe Aufgabe, umformuliert, liefert eine andere Antwortverteilung. Dieser letzte Befund erklärt das Demo-Problem. Eine Demo ist eine Stichprobe aus der Verteilung. Ein Audit ist die Verteilung.
Das Urteil der Autoren — „current LLMs are not capable of genuine logical reasoning" — ist für eine Forschungsarbeit ungewöhnlich direkt. Niemand hat es widerlegt.
Die naheliegenden Lösungen, gemessen
Jedes Team, das auf dieses Versagen stößt, greift zu denselben vier Lösungen. Jede wurde gemessen.
Retrieval. FinanceBench stellte GPT-4-Turbo 150 Fragen zu öffentlichen Finanzberichten, mit einem Retrieval-System, das die Dokumente bereitstellte. 81 % wurden falsch beantwortet oder verweigert (Patronus AI, 2023). Sechzehn Konfigurationen — GPT-4-Turbo, Llama 2, Claude 2, Vektorspeicher, langer Kontext — zeigten Schwächen in 2.400 manuell geprüften Antworten, und Modelle halluzinierten Zahlen, sobald die relevanten Seiten nicht perfekt geliefert wurden. Retrieval holt das Dokument. Das Modell verhaut die Zahl trotzdem.
Grounding. Die BBC gab ChatGPT, Copilot, Gemini und Perplexity direkten Zugriff auf eigene Artikel und befragte sie zu aktuellen Nachrichten. 51 % der Antworten hatten erhebliche Mängel; 91 % hatten zumindest einige. 19 % der Antworten, die BBC-Inhalte zitierten, enthielten sachliche Fehler — falsche Aussagen, falsche Zahlen, falsche Daten — und 13 % der BBC-Artikeln zugeschriebenen Zitate waren verändert oder existierten nie (BBC, 2025). Die Quelle lag vor. Die Zahlen bogen sich trotzdem.
Ein besseres Modell. OpenAIs eigene System Card berichtet, dass o3 bei 33 % der PersonQA-Prompts halluziniert und o4-mini bei 48 % — gegenüber 16 % beim älteren o1 (OpenAI, 2025). Nach Messung des Herstellers halluzinieren die neueren Reasoning-Modelle zwei- bis dreimal häufiger als ihr Vorgänger. o3 macht schlicht mehr Aussagen — mehr richtige und mehr erfundene, vorgetragen mit derselben Temperatur der Gewissheit.
Besseres Prompting. Schrittweises Scratchpad-Prompting hebt GPT-4s dreistellige Multiplikation von 59 % auf 92 % (arXiv, 2023). Besser — und dennoch ein falsches Ergebnis von zwölf. Selbst exhaustives Fine-Tuning von GPT-3 auf vierstelliger Multiplikation ergab etwa 40 % bei ungesehenen vierstelligen Aufgaben und 0 % bei fünfstelligen. Die Obergrenze liegt im Mechanismus, nicht im Prompt.
Jede Lösung verbessert die Chancen. Keine ändert, wer die Arithmetik ausführt. Die Antwort wird weiterhin aus einer Verteilung plausibler Zahlen gesampelt — und genau ein Element dieser Verteilung ist die Summe.
Wer rechnet?
Die strukturelle Antwort ist eine Arbeitsteilung, die genau entlang der Kompetenzgrenze verläuft. Sprachmodelle sind hervorragend in Sprache und unzuverlässig bei Zahlenwerken — das Modell sollte daher niemals das sein, was rechnet.
SQAI ist auf dieser Trennung aufgebaut. Das Modell verfasst eine typisierte Absicht — sum amount where region = "east" — und eine deterministische Engine führt sie als kompilierten Code aus: validiert gegen einen hash-gesicherten Vertrag, gegen Richtlinien geprüft, in float64 auf einem einzigen Thread berechnet, mit Provenienz zurückgegeben.
{
"status": "ok",
"value": 2130.5,
"rows_matched": 5
}
Diese 2130.5 ist kein wahrscheinlicher Token. Es ist die Summe, erzeugt von einem deterministischen Kernel aus einer Oberfläche von 4.574 schreibgeschützten Fähigkeiten über 445 Module — 4.564 davon vollständig deterministisch — mit einer Antwortzeit von 0,83–0,93 ms im Warmzustand.
Deterministisch bedeutet prüfbar. finance.npv(0.1, [-1000, 300, 420, 560, 680]) gibt 505.020148896933 unter dem Computation-Hash b74f67d0… zurück — denselben Wert und denselben Hash, ob der Aufruf aus TypeScript oder Python erfolgt, weil Ergebnisse über eine kanonische JSON-Form gehasht werden. Der Anspruch ist ehrlich eingegrenzt: deterministisch innerhalb des deklarierten Ausführungsbereichs, mit einem Envelope, der Runtime-Version, Plattform, Präzisionsmodus und Thread-Anzahl festhält, statt zu viel zu versprechen. Die Antwort eines Modells auf denselben Prompt kann nicht garantieren, beim nächsten Aufruf identisch zu sein. Diese hier wird Monate später, in beiden Sprachen, byte-identisch wiedergegeben.
Es gibt ein zweites Leck, das die meisten Stacks offen lassen. Man hängt eine Rechenmaschine an und gießt dann die rohen Abfragezeilen „zur Zusammenfassung" in den Kontext — und das Modell leitet still Zahlen aus den Zeilen ab und erfindet sie neu. SQAI behandelt den Kontext als geregelte Grenze: Höchstens 25 Zeilen, 250 Zellen und 32.000 Bytes erreichen das Modell, hinter einem Standardlimit von 100 Zeilen und einer harten Ausführungsobergrenze von 1.000. Kürzungen werden stets deklariert, sodass das Modell nicht ehrlich behaupten kann, das Gesehene summiert zu haben. Teilzeilen werden nie angezeigt, damit kein halber Datensatz es zur Vervollständigung aus der Vorstellungskraft verleitet. Aggregate werden vor der Grenze berechnet. Das Modell erhält die Antwort, nicht die Hausaufgabe.
Und die Richtlinie ist kein Prompt. Erlaubte Quellen, Felder und Funktionen werden zum Zeitpunkt von createSQAI() im Code festgelegt und vor der Ausführung prozessintern geprüft; die Tool-Eingabe des Modells enthält keinerlei Richtlinienfelder, die es ausweiten könnte. Eine Anfrage nach einer Fähigkeit außerhalb der Richtlinie erzeugt keine kreative Umgehung — sie erzeugt policy_denied_function. Das Argument ist dasselbe wie hinter dem Verbot, Agenten SQL schreiben zu lassen: Generierten Text nicht mit Best-Effort-Anweisungen regeln; Ausführung mit Allowlists regeln, die der Text nicht berühren kann.
Wer hat gerechnet?
Wenn ein KI-System das nächste Mal eine Umsatzzahl liefert, sortiert eine Frage jede Architektur auf dem Markt: Wer hat gerechnet?
Lautet die Antwort „das Modell", hält man eine Zahl mit ausgezeichneter Haltung und unbekannter Herkunft — und der einzige Prüfweg ist ein Mensch, der die Arbeit wiederholt: genau das, was man automatisieren wollte. Deloittes Erfindungen wurden entdeckt, weil ein externer Wissenschaftler außerhalb des Prozesses beschloss, nachzuprüfen. Das ist keine Kontrolle. Das ist Glück.
Lautet die Antwort „eine deterministische Engine, und hier ist der Hash", ist die Prüfung eine Wiederholung: gleiche Absicht, gleiche Engine, gleiche Bytes. Das Versagen wird subtiler — und stiller —, wenn die falsche Zahl aus einem aufgefächerten Join statt aus falscher Addition stammt; das ist eine eigene Geschichte. Aber die Disziplin passt in einen Satz: Das Modell schreibt die Frage, nie die Antwort.
Die falsche Umsatzzahl kündigt sich nicht an. Sie kommt formatiert, zitiert und selbstsicher — und bei fünfstelliger Multiplikation niemals richtig. Bauen Sie die Pipeline so, dass sie nicht hineinkommt.