Gradientenplanung routet über den gemessenen Pfad

Ein Planer ist nur so gut wie der Gradient, dem er vertraut

GRASP, ein gradientenbasierter Planer für gelernte World-Modelle von BAIR Berkeley, erreicht 26,2% Erfolg im Horizont 60 des Push-T-Benchmarks, wo klassischer Gradientenabstieg auf 16,4% kommt — und das, indem er sich weigert, über den einen Pfad zu optimieren, den jeder differenzierbare Simulator standardmäßig anbietet: den brüchigen State-Eingangsgradienten. Die Arbeit, im April 2026 als „Gradient-based Planning for World Models at Longer Horizons" veröffentlicht, ist eine Studie darüber, wie man das Optimierungssignal über den Pfad routet, der tatsächlich gemessen wird, und den isoliert, der es nicht ist.

Das Problem ist nicht das Modell, es ist der Pfad

Ein World-Model ist ein differenzierbarer Simulator. Gegeben ein Zustand $s_t$ und eine Aktion $a_t$ sagt es $s_{t+1}$ voraus. Rolle es $T$ Schritte vor, propagiere zurück und du hast einen Planer — im Prinzip. In der Praxis ist der Jacobi des vollständigen Rollouts bezüglich einer frühen Aktion ein Produkt aus $T$ State-Jacobis:

$$D_{a_0} \mathcal{F}^{T}(s_0, \mathbf{a}) \sim (D_s F_\theta)^{T-1} \cdot D_{a_0} F_\theta(s_0, a_0).$$

Die Konditionierung skaliert exponentiell mit dem Horizont. Verschwindende und explodierende Gradienten sind das bekannte Symptom. Das weniger diskutierte Symptom ist, dass der State-Jacobi $D_s F_\theta$ unzuverlässig ist, selbst wenn er gut konditioniert ist — wegen adversarieller Robustheit. Man kann ein perfekt konditioniertes Produkt aus Lügnern haben.

Warum lange Horizonte der eigentliche Stresstest sind

Bei kurzen Horizonten reicht die gierige Lösung oft aus. Mit wachsendem Horizont verlangen lange Aufgaben zunehmend nicht-gieriges Verhalten — eine Wand umgehen, vor dem Schieben neu positionieren — und der Optimierungsraum skaliert mit dem Horizont: $\dim(\mathcal{A} \times \cdots \times \mathcal{A}) = T \cdot \dim(\mathcal{A})$, was den Raum lokaler Minima erweitert. Lange Horizonte multiplizieren die Brüchigkeit jeder falschen Routing-Entscheidung, die du weiter unten im Stack getroffen hast.

Die gedimmte Mannigfaltigkeit, oder warum der State-Gradient adversariell ist

Der Trainingsprozess kontrolliert das Verhalten des Modells in tangentialen Richtungen zur Datenmannigfaltigkeit, regularisiert aber nicht das Verhalten in orthogonalen Richtungen. Das Ergebnis, wie Stutz et al. (2019) darlegten, ist eine „gedimmte Mannigfaltigkeit": glatt entlang der Daten, scharf außerhalb. Ein auf Zustands-Aktions-Trajektorien trainiertes World-Model hat eine State-Datenmannigfaltigkeit, deren Dimensionalität durch den Aktionsraum plus einen kleinen Augmentationsraum beschränkt ist — weit unter der vollen State-Dimension. Die meisten Richtungen im State-Raum liegen also außerhalb der Mannigfaltigkeit, und außerhalb bedeutet der Gradient ist adversariell: eine winzige Störung kann $F_\theta$ täuschen und melden lassen, dass ein beliebiger Zustand ein beliebiges Ziel erreicht hat.

Das ist keine Computer-Vision-Kuriosität — adversarielle Beispiele treten in LLMs und im RL auf. Und wie die GRASP-Autoren unter Verweis auf Tsipras et al. (2019) anmerken, gibt es einen bekannten Trade-off zwischen Modellleistung und adversarieller Robustheit: das Modell muss in Normalenrichtungen schärfer sein, um komplizierte Funktionen anzupassen. Modernes Training trainiert diese Brüchigkeit nicht weg und kann es unter aktuellen Regimen nicht. Das ist ein Problem, an dem wir feststecken.

[UNIQUE INSIGHT] Die Brüchigkeit ist strukturell, kein Tuning-Fehler. Man kann sie nicht wegregularisieren, ohne die Ausdrucksstärke aufzugeben, die das World-Model trainierenswert machte. Der einzige Hebel ist, über welchen Pfad man das Optimierungssignal routet. Das definiert die Aufgabe des Planers um von „optimiere härter" zu „route korrekt".

GRASP routet über den Aktionsgradienten

Das ist der Zug, der GRASP funktioniert. Der Aktionsraum ist niederdimensional und erschöpfend trainiert — das Modell hat während der Rollout-Sammlung im Wesentlichen jede Aktionsrichtung gesehen. Also ist $D_a F_\theta$ gutartig. Der State-Raum ist hochdimensional und spärlich bedeckt, also ist $D_s F_\theta$ es nicht. GRASP baut einen Collocation-Planer (gehobener Zustand) — optimiere Zustände und Aktionen gemeinsam, mit Dynamik als weiche Strafe — und stoppt dann den Gradienten, der in den State-Eingang von $F_\theta$ fließt. Das Signal erreicht das Modell nur über den Aktions-Eingang. Die State-Iterierten werden weiterhin aktualisiert, aber durch einen dichten Goal-Shaping-Term und stochastisches Rauschen, nicht durch den adversariellen State-Jacobi.

Hebung kauft Parallelität über die Zeit

Der Collocation-Zug behandelt die Dynamik-Restriktion $s_{t+1} = F_\theta(s_t, a_t)$ als weiche Strafe und optimiert über die Aktions- und die Zustandssequenz gemeinsam:

$$\min_{\mathbf{s}, \mathbf{a}} \sum_{t=0}^{T-1} |F_\theta(s_t, a_t) - s_{t+1}|^2, \quad s_0 \text{ fixiert}, ; s_T = g.$$

Jede World-Model-Auswertung hängt nun nur von lokalen Variablen ab, also können alle $T$ Terme über die Zeit parallel berechnet werden. Man propagiert nicht mehr durch eine einzige tiefe $T$-Schritt-Komposition zurück; das Produkt von Jacobis, das das exponentielle Konditionsproblem verursachte, zerfällt in eine Summe. Die globalen Minimierer ändern sich nicht — beide Zielfunktionen sind genau null, wenn die Trajektorie dynamisch machbar ist — aber die Landschaft ist dramatisch anders.

Die zwei Zutaten, die den gehobenen Planer handhabbar machen

Hebung allein funktioniert bei tiefen World-Modellen nicht, weil man nun Zustände direkt durch $F_\theta$ optimiert — genau dort, wo die adversarielle Brüchigkeit wohnt. GRASP fügt zwei Zutaten hinzu.

Zutat 1 — Exploration durch Verrauschen der State-Iterierten. Gaussches Rauschen wird während der Optimierung in die virtuellen State-Updates injiziert:

$$s_t \leftarrow s_t - \eta_s \nabla_{s_t} \mathcal{L} + \sigma_{\text{state}} \xi, \qquad \xi \sim \mathcal{N}(0, I).$$

Aktionen descendieren weiter durch nicht-stochastische Gradienten. Das State-Rauschen lässt den Planer zwischen Becken im gehobenen Raum springen, während die Aktionen durch saubere Gradienten geführt werden. Das ist keine Langevin-Dynamik — nur die States sind stochastisch — und die Asymmetrie ist beabsichtigt: verrausche den Teil, dem du nicht trauen kannst, descendiere den, dem du trauen kannst.

Zutat 2 — Stop-Gradient-Dynamics-Loss plus dichtes Goal Shaping. Stoppe den State-Gradienten in $F_\theta$:

$$\mathcal{L}{\text{dyn}}^{\text{sg}} = \sum{t=0}^{T-1} |F_\theta(\bar{s}t, a_t) - s{t+1}|^2.$$

Allein funktioniert das nicht: States jagen nur dem vorherigen Schritt nach, nichts zwingt die Basis-States, den nächsten nachzujagen, und triviale Minima erscheinen am Ursprung. Also fügt GRASP einen dichten Goal-Term über die gesamte Vorhersage hinzu:

$$\mathcal{L}{\text{goal}}^{\text{sg}} = \sum{t=0}^{T-1} |F_\theta(\bar{s}_t, a_t) - g|^2.$$

In einer normalen Einstellung würde das zur gierigen Geradeaus-Lösung übersteuern. Im Gleichgewicht mit der Stop-Gradient-Dynamics-Loss — die zu machbaren Übergängen neigt — heben sich beide in einen Planer auf, der sowohl geführt als auch fundiert ist. Die endgültige Zielfunktion hängt nicht von State-Gradienten ab.

Periodischer Sync hält die gehobenen States ehrlich

Alle $K_{\text{sync}}$ Iterationen rollt GRASP kurz die aktuellen Aktionen durch das echte serielle Ziel aus und macht ein paar kleine Gradientenschritte. Die gehobene Optimierung macht die Hauptarbeit; der Sync hält States und Aktionen an realen Trajektorien fundiert. Der Verfeinerungsschritt ist kompositionell — tausche ihn gegen beliebige serielle Planer (z.B. CEM). Die Architektur ist kein Monolith, sondern ein gemessener Pfad mit einem periodischen Realitätscheck.

Der gemessene Pfad ist der trainierte

[PERSONAL EXPERIENCE] Ich habe genug Zeit mit dem Bau von Prognosesystemen verbracht, um das Muster zu erkennen: die Komponente, die ausfällt, ist fast nie die, die du überwachst. Die GRASP-Autoren haben keinen neuen Optimierer entdeckt. Sie haben identifiziert, welcher Pfad in ihrem System eine zuverlässige Messung trug — den Aktionsgradienten, dicht beprobt während der Rollout-Sammlung — und welcher eine unzuverlässige — den State-Gradienten, adversariell außerhalb der Mannigfaltigkeit — und entsprechend geroutet. Die Mathematik ist die Mathematik; die Ingenieurserkenntnis ist das Routing.

Das ist dieselbe Disziplin, die wir bei Everythink anwenden. Theorem 3, aus the 21 papers, besagt, dass eine Eigenschaft genau dann garantiert ist, wenn ihr Mechanismus implementiert ist und misst. „Implementiert und misst" ist eine Routing-Entscheidung. Du findest den Pfad, auf dem das Signal in Daten fundiert ist, und weigerst dich, eine Garantie zu liefern, die von einem Pfad abhängt, auf dem das nicht der Fall ist. Eine Prognose, die von einem ungemessenen Pfad abhängt, ist keine Prognose; sie ist eine Behauptung mit einem Wahrscheinlichkeitsaufkleber.

The space is the router. In unserer Topologie enthält eine network communities, communities enthalten rooms, und die room ist, wo eine Anfrage landet, bevor irgendetwas antwortet. Routing geschieht vor dem Retrieval, vor der Generierung, bevor ein Gradient berechnet wird. GRASP trifft dieselbe architektonische Entscheidung auf anderer Skala: der Aktions-Eingang ist, wo das Signal ins Modell eintritt, bevor irgendeine State-Propagation berechnet wird. Die Routing-Entscheidung — Aktion rein, State isoliert — ist es, was den langen Horizont handhabbar macht.

Was lange-Horizont-Planung kostet, wenn man falsch routet

Das Push-T-Benchmark im GRASP-Paper ist eindeutig über die Kosten des Routings über den falschen Pfad. Erfolgsrate und mediane Zeit bis Erfolg, nach Horizont:

Horizont	CEM	GD	LatCo	GRASP
H=40	61,4% / 35,3s	51,0% / 18,0s	15,0% / 598,0s	59,0% / 8,5s
H=50	30,2% / 96,2s	37,6% / 76,3s	4,2% / 1114,7s	43,4% / 15,2s
H=60	7,2% / 83,1s	16,4% / 146,5s	2,0% / 231,5s	26,2% / 49,1s
H=70	7,8% / 156,1s	12,0% / 103,1s	0,0% / —	16,0% / 79,9s
H=80	2,8% / 132,2s	6,4% / 161,3s	0,0% / —	10,4% / 58,9s

Gradientenabstieg durch den vollständigen Rollout — der Pfad, der sowohl den Aktions- als auch den State-Jacobi nutzt — bricht von 51% bei Horizont 40 auf 6,4% bei 80 ein. LatCo, eine weitere Collocation-Methode, die den State-Gradienten nicht stoppt, steht bei Horizont 70 auf 0%. GRASP, das nur über den Aktions-Jacobi routet, ist die einzige Methode, die bei Horizont 80 über 10% bleibt, und das in unter einer Minute, wo GD fast drei braucht. Der Einbruch ist keine Horizont-Steuer. Er ist der Preis dafür, das Signal über einen Pfad zu routen, der nicht gemessen ist.

CEM, ein stichprobenbasierter Planer ohne Gradienten, hält sich bei Horizont 40 besser als GD, bricht aber bei 60 ein. Der falsche Gradient ist schlimmer als kein Gradient, weil er falsches Vertrauen trägt.

Wie das mit einer kalibrierten Prognose zusammenhängt

Unsere Sisters sind typisierte KI-Agenten, die sich jeweils eine plausible Zukunft für einen realen Akteur vorstellen; der Oracle fusioniert ihre Ausgaben zu einem kalibrierten Wahrscheinlichkeitskegel. Die Architektur ist ein paralleler Fan-Out — jede Sister entwirft unabhängig, der Oracle normalisiert — und die Kalibrierung ist eine Messung, keine Behauptung. Das Ensemble wird an genau einer Stelle normalisiert und die Entropie in Nats angegeben. Das ist Theorem 3 in Produktion: der Normalisierungsmechanismus ist implementiert und misst, also ist die Eigenschaft (Summe der Wahrscheinlichkeiten ≈ 1,0) garantiert.

GRASPs Collocation-Zug — die Trajektorie in virtuelle States heben, sodass alle Zeitschritte parallel optimieren — ist strukturell derselbe wie unser Sisters-Fan-Out. Parallelität über die Zeit und über Agenten kaufen beide Erkundung, ohne durch einen einzigen tiefen Graphen zu serialisieren. Und in beiden Fällen hält der Merge-Schritt (der Oracle für uns, der periodische Sync für GRASP) die parallelen Entwürfe ehrlich. Parallelität ohne Merge-Schritt ist nur Rauschen.

HAI Engine ✅ ist seit 2016 in Produktion. Sisters ✅ und Oracle ✅ sind Produktion. World Monitor ✅ routet und puffert reale Signale auf planetarer Skala — aber er prognostiziert keine Konflikte; er legt die Signale frei und ein Mensch entscheidet, was sie bedeuten. Diese Grenze spiegelt GRASPs Grenze wider: der Aktionsgradient, dem er traut, der State-Gradient, dem er nicht traut.

Was GRASP nicht behauptet, und warum das zählt

Die Autoren sind explizit über die Grenzen. GRASP ist „eine erste Iteration für solche Planer". Die Erweiterung auf diffusionsbasierte World-Modelle, ausgefeiltere Verrauschungsstrategien und die Integration in Closed-Loop-RL werden als nächste Schritte aufgeführt, nicht als Errungenschaften. Die Push-T-Ergebnisse sind ein Benchmark, keine Deployment-Behauptung.

Das ist die Ehrlichkeitshaltung, die wir einhalten. Matchmaking ⚠️ und Marketplace ⚠️ sind Partial — sie funktionieren, und wir oversellen sie nicht. Calendar ⚠️ ist Partial. Wallet & Token 🔵, Super App 🔵 und Community Credit 🔵 sind Roadmap, pre-revenue, dem Howey-Review unterworfen. Wir befördern kein Roadmap-Item stillschweigend zu Production, weil ein Benchmark gut aussah. Kundensouveränität — deine network, deine Marke, deine Daten — ist kein Feature, das wir gewähren; sie ist die Topologie, durch die das System routet. Und die Ethik des Scopes ist ebenfalls eine Routing-Entscheidung: nur zivile und defensive Nutzung, Inklusion by design für mehrsprachige, multimodale, niedrig-Bandbreite-Kontexte.

[ORIGINAL DATA] In unserer eigenen Prognosearbeit ist die größte Einzelursache für Miskalibrierung nicht die Parameterzahl des Modells — es ist die Lücke zwischen dem Pfad, von dem das Team glaubt, dass er das Signal trägt, und dem Pfad, den die Messung als tatsächlich tragend ausweist. Diese Lücke zu schließen ist eine Routing-Übung, keine Trainings-Übung. Jedes Mal, wenn wir die Kalibrierung verbessert haben, war die Änderung eine Routing-Änderung: wo das Signal eintritt, wo es normalisiert wird, wo es verifiziert wird. Parameterzahlen bewegten sich erst, als das Routing bereits korrekt war.

Kernpunkte

• Rout über den gemessenen Pfad. GRASP funktioniert, weil der Aktionsgradient dicht trainiert ist und der State-Gradient außerhalb der Mannigfaltigkeit adversariell ist. Der Planer gelingt, indem er das Signal am Eintritt in den brüchigen Pfad stoppt.
• Hebung kauft Parallelität, Routing kauft Korrektheit. Collocation parallelisiert über die Zeit; Stop-Gradient hält das Signal sauber. Beides braucht man, in dieser Reihenfolge.
• Theorem 3 verallgemeinert das Prinzip. Eine Eigenschaft ist genau dann garantiert, wenn ihr Mechanismus implementiert ist und misst. Der Aktionsgradient ist der gemessene Mechanismus; der State-Gradient der ungemessene.
• Lange Horizonte multiplizieren Brüchigkeit, nicht nur Kosten. Der Einbruch von GD und LatCo bei 80 Schritten ist der komponierte adversarielle Jacobi. Der falsche Gradient ist schlimmer als keiner.
• Ehrlichkeit über Grenzen ist Teil des Mechanismus. Die GRASP-Autoren nennen ihre Arbeit eine erste Iteration. Wir nennen unsere Roadmap-Items Roadmap. Beides ist eine Scope-Entscheidung.

Häufige Fragen

Heißt GRASP, dass World-Model-Planung gelöst ist? Nein. Die Autoren rahmen sie als erste Iteration ein. Diffusionsbasierte World-Modelle, Closed-Loop-Integration und reichere Verrauschungsstrategien bleiben offen. Was GRASP zeigt, ist, dass das Routen des Gradienten über den gemessenen Pfad der Hebel ist, der lange-Horizont-Planung handhabbar macht.

Warum bricht der Planer nicht, wenn man den State-Gradienten stoppt? Weil das dichte Goal Shaping und das stochastische State-Rauschen das Signal tragen, das der State-Jacobi getragen hätte, ohne die adversarielle Brüchigkeit. Der periodische Sync fundiert die gehobenen States gegen den echten Rollout. Der State-Gradient wird ersetzt, nicht entfernt.

Worin unterscheidet sich das von LatCo? LatCo ist auch ein Collocation-Planer, stoppt aber den State-Eingangsgradienten nicht. Sein 0%-Erfolg bei Horizont 70 ist der Preis dafür, das Signal über den adversariellen Pfad zu routen. GRASPs Beitrag ist die Routing-Entscheidung, nicht die Hebung.

Was hat das mit Everythink zu tun? Das Routing-Prinzip ist dasselbe. „The space is the router" bedeutet, dass die Network-Community-Room-Topologie eine Anfrage routet, bevor ein Modell antwortet. GRASP routet den Gradienten über den Aktions-Eingang, bevor eine State-Propagation berechnet wird. Theorem 3 ist die formale Version: garantiere die Eigenschaft nur auf dem Pfad, wo der Mechanismus misst.

Ist die HAI Engine ein World-Model? Die HAI Engine ist das Produktion-Prognosesystem, das die Sisters und den Oracle betreibt. Sie ist kein gelerntes Dynamikmodell im Sinne von GRASP. Die Verbindung ist architektonisch: beide Systeme routen das Signal über den gemessenen Pfad und weigern sich, Garantien zu liefern, die vom ungemessenen abhängen.

Sources

• 2026 — BAIR Blog, „Gradient-based Planning for World Models at Longer Horizons" — https://bair.berkeley.edu/blog/2026/04/20/grasp/
• Psenka, Rabbat, Krishnapriyan, LeCun, Bar (2026), „Parallel Stochastic Gradient-Based Planning for World Models" — https://arxiv.org/pdf/2602.00475
• Stutz, Hein, Geirhos, Schölkopf, Bethge (2019), „Disentangling Adversarial Robustness and Generalization" — https://arxiv.org/pdf/1812.00740

---

Bereit, deine Prognose über den gemessenen Pfad zu routen? Erstelle deine network oder lies the 21 papers.