tritify
Auf jedem Rechner dieselben Bytes: echte Modelle, gerechnet in exakter Ganzzahl-Arithmetik.
Der Code auf GitHub ↗Das Preprint lesen (PDF, Englisch)Das veröffentlichte Preprint (DOI) ↗
Was es macht
tritify rechnet den gesamten Vorwärtslauf echter Modelle in exakter Ganzzahl-Arithmetik: Sprachmodelle, Mixture-of-Experts-Modelle und ein Bild- und Videomodell. Sein Ergebnis ist von Lauf zu Lauf und von Rechner zu Rechner bitgleich, belegt durch eine SHA-256-Prüfsumme, die Sie selbst nachrechnen und prüfen können.
Warum es wichtig ist
Optimierte Gleitkomma-Inferenz ist meist nicht reproduzierbar: Dasselbe Modell kann auf anderer Hardware, mit anderem Compiler oder mit anderer Thread-Zahl andere Bits liefern.
Was wir behaupten und Sie prüfen können
- Reproduzierbar über Hardware hinweg: dieselben Ausgabe-Bits bei jedem Lauf, über Prozessor-Architekturen hinweg und zwischen CPU und GPU.
- Treu zum Original: Auf den getesteten Modellen und Eingaben trifft es dieselben Entscheidungen wie das Gleitkomma-Modell; die Ausnahmen sind gemessen, nicht wegdefiniert.
- Unabhängig davon, wo es läuft: Die Rechnung eines Modells lässt sich auf Prozessoren und auf Rechner aufteilen, ohne ein einziges Ausgabe-Bit zu ändern.
Im großen Maßstab gezeigt
Die dritte Aussage haben wir im großen Maßstab gezeigt: GLM-4.5-Air, ein Modell mit 106 Milliarden Parametern und 427 GB Ganzzahl-Codes, erzeugte seine Antwort verteilt auf drei Rechner, von denen keiner alle Codes im Speicher halten kann, Bit für Bit gleich wie ein einzelner Rechner.
So müssen Sie einer schnellen Rechner-Flotte nicht blind vertrauen: Eine offene Referenz rechnet die exakten Bytes nach und prüft sie.
Was wir nicht behaupten
Es ist auf einem einzelnen Gerät nicht schneller: Die Verteilung auf mehrere Rechner kostet Zeit, der Gewinn ist Kapazität. Es hält Daten nicht vertraulich: Nachprüfbar heißt nicht privat. Und aus der Übereinstimmung ehrlicher Läufe eine Garantie gegen einen unehrlichen Server zu machen, ist noch offene Arbeit.