La planification par gradient route par la voie mesurée

Un planificateur vaut ce que vaut le gradient auquel il se fie

GRASP, un planificateur fondé sur les gradients pour les world models appris de BAIR Berkeley, atteint 26,2% de réussite sur l'horizon 60 du benchmark Push-T, là où la descente de gradient classique plafonne à 16,4% — et il le fait en refusant d'optimiser à travers la voie que tout simulateur différentiable offre par défaut : le gradient d'entrée d'état, fragile. Le travail, publié en avril 2026 sous le titre « Gradient-based Planning for World Models at Longer Horizons », est une étude sur la façon de router le signal d'optimisation par la voie qui est effectivement mesurée, et d'isoler celle qui ne l'est pas.

Le problème n'est pas le modèle, c'est la voie

Un world model est un simulateur différentiable. Étant donné un état $s_t$ et une action $a_t$, il prédit $s_{t+1}$. Déroule-le sur $T$ pas, propage en retour et tu as un planificateur — en principe. En pratique, le jacobien du rollout complet par rapport à une action précoce est un produit de $T$ jacobien d'état :

$$D_{a_0} \mathcal{F}^{T}(s_0, \mathbf{a}) \sim (D_s F_\theta)^{T-1} \cdot D_{a_0} F_\theta(s_0, a_0).$$

Le conditionnement évolue exponentiellement avec l'horizon. Les gradients qui s'évanouissent ou explosent sont le symptôme connu. Le symptôme moins discuté est que le jacobien d'état $D_s F_\theta$ n'est pas fiable même quand il est bien conditionné, à cause de la robustesse adversariale. On peut avoir un produit parfaitement conditionné de menteurs.

Pourquoi les longs horizons sont le vrai test de résistance

Aux horizons courts la solution gourmande suffit souvent. À mesure que l'horizon s'allonge, les tâches longues exigent de plus en plus de comportement non gourmand — contourner un mur, se repositionner avant de pousser — et l'espace d'optimisation lui-même évolue avec l'horizon : $\dim(\mathcal{A} \times \cdots \times \mathcal{A}) = T \cdot \dim(\mathcal{A})$, élargissant l'espace des minima locaux. Les longs horizons multiplient la fragilité de chaque mauvaise décision de routage prise plus tôt dans la pile.

La variété à godets, ou pourquoi le gradient d'état est adversarial

L'entraînement contrôle le comportement du modèle dans les directions tangentielles à la variété des données mais ne régularise pas les directions orthogonales. Le résultat, comme l'ont exposé Stutz et al. (2019), est une « variété à godets » : lisse le long des données, tranchante en dehors. Un world model entraîné sur des trajectoires état-action a une variété de données d'état dont la dimensionnalité est bornée par l'espace d'action plus un petit espace d'augmentation — bien en dessous de la dimension d'état complète. La plupart des directions de l'espace d'état sont donc hors variété, et hors variété le gradient est adversarial : une perturbation minuscule peut tromper $F_\theta$ et lui faire rapporter qu'un état arbitraire a atteint un objectif arbitraire.

Ce n'est pas une curiosité de vision — les exemples adversariaux apparaissent dans les LLM et en RL. Et comme le notent les auteurs de GRASP en citant Tsipras et al. (2019), il y a un compromis connu entre performance du modèle et robustesse adversariale : le modèle doit être plus tranchant dans les directions normales pour ajuster des fonctions complexes. L'entraînement moderne ne forme pas cette fragilité hors, et ne le peut pas sous les régimes actuels. C'est un problème auquel nous sommes coincés.

[UNIQUE INSIGHT] La fragilité est structurelle, pas un défaut de réglage. On ne peut pas la régulariser sans renoncer à l'expressivité qui rendait le world model pertinent à entraîner. Le seul levier est : par quelle voie tu routes le signal d'optimisation. Cela redéfinit la tâche du planificateur de « optimise plus fort » à « route correctement ».

GRASP route par le gradient d'action

Voici le coup qui fait fonctionner GRASP. L'espace d'action est de basse dimension et entraîné de façon exhaustive — le modèle a vu essentiellement toutes les directions d'action pendant la collecte de rollouts. Donc $D_a F_\theta$ est bien comporté. L'espace d'état est de haute dimension et clairsemé, donc $D_s F_\theta$ ne l'est pas. GRASP construit un planificateur de collocation (état levé) — optimise états et actions conjointement, avec la dynamique comme pénalité souple — puis arrête le gradient qui flue vers l'entrée d'état de $F_\theta$. Le signal n'atteint le modèle que par l'entrée d'action. Les itérés d'état continuent de se mettre à jour, mais par un terme dense de goal shaping et par un bruit stochastique, pas par le jacobien d'état adversarial.

La levée achète du parallélisme dans le temps

Le coup de collocation traite la contrainte de dynamique $s_{t+1} = F_\theta(s_t, a_t)$ comme une pénalité souple et optimise sur la séquence d'actions et la séquence d'états conjointement :

$$\min_{\mathbf{s}, \mathbf{a}} \sum_{t=0}^{T-1} |F_\theta(s_t, a_t) - s_{t+1}|^2, \quad s_0 \text{ fixe}, ; s_T = g.$$

Chaque évaluation du world model ne dépend plus que de variables locales, donc les $T$ termes se calculent en parallèle dans le temps. On ne propage plus en retour à travers une composition profonde de $T$ pas ; le produit de jacobien qui causait le problème de conditionnement exponentiel se sépare en une somme. Les minimiseurs globaux ne changent pas — les deux objectifs sont zéro exactement quand la trajectoire est dynamiquement faisable — mais le paysage est radicalement différent.

Les deux ingrédients qui rendent le planificateur levé traitable

La levée seule ne marche pas avec les world models profonds, parce qu'alors on optimise les états directement à travers $F_\theta$ — exactement là où vit la fragilité adversariale. GRASP ajoute deux ingrédients.

Ingrédient 1 — exploration par bruitage des itérés d'état. Du bruit gaussien est injecté dans les mises à jour virtuelles d'état pendant l'optimisation :

$$s_t \leftarrow s_t - \eta_s \nabla_{s_t} \mathcal{L} + \sigma_{\text{state}} \xi, \qquad \xi \sim \mathcal{N}(0, I).$$

Les actions descendent toujours par gradient non stochastique. Le bruit d'état laisse le planificateur sauter entre bassins dans l'espace levé tandis que les actions sont guidées par des gradients propres. Ce n'est pas de la dynamique de Langevin — seuls les états sont stochastiques — et l'asymétrie est délibérée : bruite la partie à laquelle tu ne peux pas te fier, descends celle à laquelle tu peux.

Ingrédient 2 — stop-gradient dynamics loss plus goal shaping dense. Arrête le gradient d'état vers $F_\theta$ :

$$\mathcal{L}{\text{dyn}}^{\text{sg}} = \sum{t=0}^{T-1} |F_\theta(\bar{s}t, a_t) - s{t+1}|^2.$$

Seul, cela échoue : les états ne poursuivent que le pas précédent, rien ne force les états de base à poursuivre les suivants, et des minima triviaux apparaissent à l'origine. Donc GRASP ajoute un terme d'objectif dense tout au long de la prédiction :

$$\mathcal{L}{\text{goal}}^{\text{sg}} = \sum{t=0}^{T-1} |F_\theta(\bar{s}_t, a_t) - g|^2.$$

Dans un cadre normal cela sur-orienterait vers la solution gourmande en ligne droite. Équilibré contre la stop-gradient dynamics loss — qui oriente vers des transitions faisables — les deux s'annulent en un planificateur à la fois guidé et fondé. L'objectif final n'a aucune dépendance aux gradients d'état.

La synchro périodique garde les états levés honnêtes

Toutes les $K_{\text{sync}}$ itérations, GRASP déroule brièvement les actions courantes à travers l'objectif sériel vrai et fait quelques petits pas de gradient. L'optimisation levée fait le gros du travail ; la synchro garde états et actions fondés sur les trajectoires réelles. L'étape de raffinement est compositionnelle — remplace-la par n'importe quel planificateur sériel (CEM par exemple). L'architecture n'est pas un monolithe, c'est une voie mesurée avec un contrôle périodique de réalité.

La voie mesurée est celle qui est entraînée

[PERSONAL EXPERIENCE] J'ai passé assez de temps à construire des systèmes de prévision pour reconnaître le schéma : le composant qui tombe en panne n'est presque jamais celui que tu surveilles. Les auteurs de GRASP n'ont pas découvert un nouvel optimiseur. Ils ont identifié quelle voie de leur système portait une mesure fiable — le gradient d'action, densément échantillonné pendant la collecte de rollouts — et quelle voie en portait une peu fiable — le gradient d'état, adversarial hors variété — et ils ont routé en conséquence. Les maths sont les maths ; l'intuition d'ingénierie, c'est le routage.

C'est la même discipline que nous appliquons chez Everythink. Theorem 3, tiré de the 21 papers, dit qu'une propriété est garantie exactement quand son mécanisme est implémenté et mesure. « Implémenté et mesure » est une décision de routage. Tu trouves la voie où le signal est fondé sur des données, et tu refuses de livrer une garantie qui dépend d'une voie où il ne l'est pas. Une prévision qui dépend d'une voie non mesurée n'est pas une prévision ; c'est une assertion avec une étiquette de probabilité collée dessus.

The space is the router. Dans notre topologie, une network contient des communities, les communities contiennent des rooms, et la room est là où une requête atterrit avant que quoi que ce soit réponde. Le routage a lieu avant la récupération, avant la génération, avant qu'un gradient soit calculé. GRASP prend la même décision architecturale à une autre échelle : l'entrée d'action est là où le signal entre dans le modèle avant qu'une propagation d'état soit calculée. La décision de routage — action dedans, état isolé — est ce qui rend le long horizon traitable.

Ce que coûte la planification à long horizon quand on route mal

Le benchmark Push-T du papier GRASP est sans ambiguïté sur le coût de router par la mauvaise voie. Taux de réussite et temps médian jusqu'à la réussite, par horizon :

Horizon	CEM	GD	LatCo	GRASP
H=40	61,4% / 35,3s	51,0% / 18,0s	15,0% / 598,0s	59,0% / 8,5s
H=50	30,2% / 96,2s	37,6% / 76,3s	4,2% / 1114,7s	43,4% / 15,2s
H=60	7,2% / 83,1s	16,4% / 146,5s	2,0% / 231,5s	26,2% / 49,1s
H=70	7,8% / 156,1s	12,0% / 103,1s	0,0% / —	16,0% / 79,9s
H=80	2,8% / 132,2s	6,4% / 161,3s	0,0% / —	10,4% / 58,9s

La descente de gradient à travers le rollout complet — la voie qui utilise le jacobien d'action et celui d'état — s'effondre de 51% à l'horizon 40 à 6,4% à 80. LatCo, une autre méthode de collocation qui n'arrête pas le gradient d'état, est à 0% à l'horizon 70. GRASP, qui ne route que par le jacobien d'action, est la seule méthode qui reste au-dessus de 10% à l'horizon 80, et ce en moins d'une minute là où GD met presque trois. L'effondrement n'est pas une taxe d'horizon. C'est le coût de router le signal par une voie qui n'est pas mesurée.

CEM, un planificateur par échantillonnage sans gradient, tient mieux que GD à l'horizon 40 mais s'effondre à 60. Le mauvais gradient est pire que pas de gradient, parce qu'il porte une fausse confiance.

Comment cela se relie à une prévision calibrée

Nos Sisters sont des agents IA typés qui imaginent chacun un futur plausible pour un acteur réel ; l'Oracle fusionne leurs sorties en un cône de probabilité calibré. L'architecture est un éventail parallèle — chaque Sister rédige indépendamment, l'Oracle normalise — et la calibration est une mesure, pas une assertion. L'ensemble est normalisé à un seul endroit et l'entropie est rapportée en nats. C'est Theorem 3 en production : le mécanisme de normalisation est implémenté et mesure, donc la propriété (somme des probabilités ≈ 1,0) est garantie.

Le coup de collocation de GRASP — lever la trajectoire en états virtuels pour que tous les pas de temps optimisent en parallèle — est structurellement le même que notre éventail de Sisters. Le parallélisme dans le temps et entre agents achète de l'exploration sans sérialiser à travers un seul graphe profond. Et dans les deux cas, l'étape de fusion (l'Oracle pour nous, la synchro périodique pour GRASP) garde les brouillons parallèles honnêtes. Le parallélisme sans étape de fusion n'est que du bruit.

HAI Engine ✅ est en production depuis 2016. Sisters ✅ et Oracle ✅ sont en production. World Monitor ✅ route et met en cache des signaux réels à échelle planétaire — mais il ne prévoit pas les conflits ; il expose les signaux, et un humain décide ce qu'ils signifient. Cette frontière reflète celle de GRASP : le gradient d'action auquel il se fie, le gradient d'état auquel il ne se fie pas.

Ce que GRASP ne prétend pas, et pourquoi ça compte

Les auteurs sont explicites sur les limites. GRASP est « une première itération pour de tels planificateurs ». L'extension aux world models fondés sur la diffusion, des stratégies de bruitage plus sophistiquées et l'intégration en RL en boucle fermée sont listées comme prochaines étapes, pas comme des accomplissements. Les résultats Push-T sont un benchmark, pas une revendication de déploiement.

C'est la posture d'honnêteté que nous maintenons. Matchmaking ⚠️ et Marketplace ⚠️ sont Partial — ils fonctionnent, et nous ne les survendrons pas. Calendar ⚠️ est Partial. Wallet & Token 🔵, Super App 🔵 et Community Credit 🔵 sont Roadmap, pre-revenue, soumis au Howey review. Nous ne promouvons pas silencieusement un item Roadmap à Production parce qu'un benchmark avait l'air bon. La souveraineté du client — ton network, ta marque, tes données — n'est pas une fonctionnalité que nous accordons ; c'est la topologie à travers laquelle le système route. Et l'éthique du périmètre est aussi une décision de routage : usage civil et défensif uniquement, inclusion by design pour les contextes multilingues, multimodaux et à faible connectivité.

[ORIGINAL DATA] Dans notre propre travail de prévision, la plus grande source unique de miscalibration n'est pas le nombre de paramètres du modèle — c'est l'écart entre la voie dont l'équipe croit qu'elle porte le signal et la voie que la mesure dit porter réellement. Combler cet écart est un exercice de routage, pas d'entraînement. Chaque fois que nous avons amélioré la calibration, le changement était un changement de routage : où le signal entre, où il est normalisé, où il est vérifié. Les comptes de paramètres n'ont bougé que quand le routage était déjà correct.

Points clés

• Route par la voie mesurée. GRASP fonctionne parce que le gradient d'action est densément entraîné et le gradient d'état est adversarial hors variété. Le planificateur réussit en arrêtant le signal avant qu'il n'entre dans la voie fragile.
• La levée achète du parallélisme, le routage achète de la justesse. La collocation parallélise dans le temps ; le stop-gradient garde le signal propre. Il faut les deux, dans cet ordre.
• Theorem 3 généralise le principe. Une propriété est garantie exactement quand son mécanisme est implémenté et mesure. Le gradient d'action est le mécanisme mesuré ; le gradient d'état, le non mesuré.
• Les longs horizons multiplient la fragilité, pas seulement le coût. L'effondrement de GD et LatCo à 80 pas est le jacobien adversarial qui se compose. Le mauvais gradient est pire que aucun.
• L'honnêteté sur les limites fait partie du mécanisme. Les auteurs de GRASP étiquettent leur travail comme première itération. Nous étiquetons nos items Roadmap comme Roadmap. Les deux sont des décisions de périmètre.

Questions fréquentes

GRASP signifie-t-il que la planification par world model est résolue ? Non. Les auteurs la cadrent comme une première itération. Les world models fondés sur la diffusion, l'intégration en boucle fermée et des stratégies de bruitage plus riches restent ouvertes. Ce que GRASP démontre, c'est que router le gradient par la voie mesurée est le levier qui rend la planification à long horizon traitable.

Pourquoi arrêter le gradient d'état ne casse-t-il pas le planificateur ? Parce que le goal shaping dense et le bruit stochastique d'état portent le signal que le jacobien d'état aurait porté, sans la fragilité adversariale. La synchro périodique fonde les états levés contre le rollout vrai. Le gradient d'état est remplacé, pas supprimé.

En quoi cela diffère-t-il de LatCo ? LatCo est aussi un planificateur de collocation, mais n'arrête pas le gradient d'entrée d'état. Son 0% de réussite à l'horizon 70 est le coût du routage du signal par la voie adversariale. La contribution de GRASP est la décision de routage, pas la levée.

Qu'est-ce que cela a à voir avec Everythink ? Le principe de routage est le même. « The space is the router » signifie que la topologie network-community-room route une requête avant qu'un modèle réponde. GRASP route le gradient par l'entrée d'action avant qu'une propagation d'état soit calculée. Theorem 3 est la version formelle : ne garantit la propriété que sur la voie où le mécanisme mesure.

HAI Engine est-il un world model ? HAI Engine est le système de prévision en production qui fait tourner les Sisters et l'Oracle. Ce n'est pas un modèle de dynamique appris au sens de GRASP. Le lien est architectural : les deux systèmes routent le signal par la voie mesurée et refusent de livrer des garanties qui dépendent de celle qui ne l'est pas.

Sources

• 2026 — BAIR Blog, « Gradient-based Planning for World Models at Longer Horizons » — https://bair.berkeley.edu/blog/2026/04/20/grasp/
• Psenka, Rabbat, Krishnapriyan, LeCun, Bar (2026), « Parallel Stochastic Gradient-Based Planning for World Models » — https://arxiv.org/pdf/2602.00475
• Stutz, Hein, Geirhos, Schölkopf, Bethge (2019), « Disentangling Adversarial Robustness and Generalization » — https://arxiv.org/pdf/1812.00740

---

Prêt à router ta prévision par la voie mesurée ? Crée ton network ou lis the 21 papers.