Deterministic, Reproducible Inference in Exact Integer Arithmetic, and Verifiable Distributed Inference as Its Consequence
Sayed Amir Karim · Pelloran Inc. · ein Preprint vom November 2026, mit DOI, unter CC BY 4.0
Das Preprint lesen (PDF, Englisch)Das veröffentlichte Preprint (DOI) ↗
Zusammenfassung
Typische optimierte Gleitkomma-Inferenz ist über verschiedene Umgebungen hinweg nicht reproduzierbar: Dasselbe Modell kann auf anderer Hardware, mit anderen Compilern oder einer anderen Zahl von Threads andere Bits liefern, weil die Addition nach IEEE-754 nicht assoziativ ist und die Mathematikbibliotheken der Plattformen transzendente Funktionen unterschiedlich runden (reproduzierbares Gleitkomma IST erreichbar, etwa mit einer BLAS mit festgelegter Reduktionsreihenfolge, aber mit Kosten und nicht von Haus aus).
Wir stellen tritify vor, eine Open-Source-Laufzeitumgebung, die den Vorwärtslauf echter Modelle ausführt – reine Decoder-Sprachmodelle, Mixture-of-Experts-Decoder und den Bild- und Video-Stack von Segment Anything 2.1 –, mit dem gesamten Laufzeitpfad (forward_int) in exakter Ganzzahl-Arithmetik; Gleitkomma bleibt auf die vorab erfolgende Quantisierung von Gewichten und eps beschränkt und auf die Gleitkomma-Referenz, die der Prüfung dient. Wir stellen drei präzise, getrennte Behauptungen auf und prüfen jede.
(1) Reproduzierbarkeit über Hardware hinweg: Der Ganzzahl-Pfad liefert bitgleiche Ausgaben von Lauf zu Lauf, über CPU-Befehlssatzarchitekturen hinweg und zwischen CPU und GPU, belegt durch eine reproduzierbare SHA-256-Prüfsumme der Ausgabe.
(2) Treue zur Entscheidung der Gleitkomma-Referenz: Der Ganzzahl-Pfad trifft auf den getesteten Modellen und Eingaben dieselbe Entscheidung wie die Gleitkomma-Referenz, wobei die numerischen Ausnahmen gemessen und nicht wegdefiniert werden; wir erweitern dies in die Tiefe, messen die Treue Schicht für Schicht über sechzehn Schichten von OLMoE-1B-7B und eines Frontier-MoE mit 106 Milliarden Parametern und finden keinen Einbruch der Treue.
(3) Unabhängigkeit vom Ort: Weil die Ausgabe eine deterministische Funktion von (Gewichten, Eingaben) ist und bitgleich, wo auch immer jede Operation läuft, lässt sich die Berechnung eines Modells aufteilen – über CPU-Befehlssätze, zwischen CPU und GPU und über viele vernetzte Rechner – ohne jede Wirkung auf die Ausgabe-Bits, und das zusammengeführte Ergebnis gleicht exakt dem eines einzelnen Rechners.
Wir zeigen Behauptung 3 im großen Maßstab: Ein Frontier-Mixture-of-Experts-Modell, GLM-4.5-Air (106 852 251 264 Parameter, 427 GB Ganzzahl-Codes), erzeugte seine Antwort verteilt auf drei Rechner, von denen keiner seine vollständigen Ganzzahl-Codes im Arbeitsspeicher halten kann – bitgleich zu einer Referenz auf einem einzelnen Rechner, die die Experten nachlädt, belegt durch dieselbe SHA-256-Prüfsumme auf jeder Schicht (ein eigener Lauf teilte ein ganzes Modell auf sechs Rechner mit zwei Befehlssätzen an drei Standorten auf, mit identischer Prüfsumme).
Die Folge ist nachprüfbare verteilte Inferenz: Ein schneller, nicht vertrauenswürdiger Server (oder eine Flotte handelsüblicher Geräte) führt das Modell aus, während ein offenes skalares Orakel – lokal oder bei einem beliebigen Dritten – die exakten Bytes neu herleitet und mit der öffentlichen Referenz vergleicht; aus der Übereinstimmung ehrlicher Läufe eine Garantie gegen einen unehrlichen Server zu machen, ist offene Arbeit.
Beim Umfang sind wir bewusst vorsichtig: Wir behaupten keine Geschwindigkeitssteigerung pro Gerät (Verteilung kostet Zeit; der Gewinn ist Kapazität, nicht Geschwindigkeit), keine Bit-für-Bit-Gleichheit der rohen Gleitkomma-Zwischenwerte und keine Vertraulichkeit – Nachprüfbarkeit ist nicht Privatsphäre. Der Beitrag ist Exaktheit, Determinismus, Portabilität und vor allem Nachprüfbarkeit: Jede Operation bringt einen Ganzzahl-Pfad und eine Gleitkomma-Referenz mit, und eine Schranke weist alles zurück, worin die beiden über die Toleranz hinaus abweichen.
Dies ist ein Preprint: Es berichtet die Messungen, und das Artefakt zur Reproduktion – das öffentliche Repository, der Commit, die vollständigen Prüfsummen und die genauen Befehle, mit denen ein Dritter die exakten Bytes neu herleiten kann – wird mit der Veröffentlichung bereitgestellt.