梯度规划沿被测量的路径路由

规划器的价值取决于它所信任的梯度

GRASP 是 BAIR Berkeley 提出的一种基于梯度的学习式 world model 规划器，在 Push-T 基准的 60 步 horizon 上达到 26.2% 的成功率，而朴素梯度下降只有 16.4% —— 它的做法是拒绝通过每个可微仿真器默认提供的那条路径：脆弱的 state 输入梯度。这项工作于 2026 年 4 月以《Gradient-based Planning for World Models at Longer Horizons》为题发表，研究的是如何把优化信号路由到真正被测量的路径上，并隔离那条未被测量的路径。

问题不在模型，而在路径

world model 是一个可微仿真器。给定状态 $s_t$ 和动作 $a_t$，它预测 $s_{t+1}$。向前展开 $T$ 步、反向传播，你就有一个规划器 —— 原则上如此。实际上，完整 rollout 对某个早期动作的雅可比矩阵是 $T$ 个 state 雅可比的乘积：

$$D_{a_0} \mathcal{F}^{T}(s_0, \mathbf{a}) \sim (D_s F_\theta)^{T-1} \cdot D_{a_0} F_\theta(s_0, a_0).$$

条件数随 horizon 指数增长。梯度消失与爆炸是已知的症状。较少被讨论的症状是，state 雅可比 $D_s F_\theta$ 即使条件良好也不可信，原因是对抗鲁棒性。你可能得到一个条件完美但由谎言组成的乘积。

为什么长 horizon 才是真正的压力测试

在短 horizon 下贪心解通常够用。随着 horizon 增长，长任务越来越需要非贪心行为 —— 绕过一堵墙、推动前先重新定位 —— 而优化空间本身随 horizon 缩放：$\dim(\mathcal{A} \times \cdots \times \mathcal{A}) = T \cdot \dim(\mathcal{A})$，扩大了局部最小值的空间。长 horizon 会放大你在栈中更早处做出的每一个错误路由决策的脆弱性。

凹陷流形，或为什么 state 梯度是对抗性的

训练过程控制模型在数据流形切向方向上的行为，但不正则化正交方向。Stutz 等人（2019）指出，结果是一个「凹陷流形」：沿数据平滑，离开数据则尖锐。在状态-动作轨迹上训练的 world model，其 state 数据流形维度被动作空间加上一个小的增强空间所约束 —— 远低于完整 state 维度。所以 state 空间中大多数方向都在流形之外，而流形之外意味着梯度是对抗性的：一个微小扰动就能欺骗 $F_\theta$，让它报告任意状态已达到任意目标。

这不是视觉领域的奇观 —— 对抗样本在 LLM 和 RL 中也会出现。GRASP 作者引用 Tsipras 等人（2019）指出，模型性能与对抗鲁棒性之间存在已知权衡：模型必须在法向方向上更尖锐才能拟合复杂函数。现代训练不会、在当前范式下也无法把这种脆弱性训练掉。这是一个我们无法摆脱的问题。

[UNIQUE INSIGHT] 这种脆弱性是结构性的，不是调参失误。你无法在保留 world model 表达力的同时把它正则化掉。唯一的杠杆是：你把优化信号路由到哪条路径。这把规划器的任务从「更努力地优化」重新定义为「正确地路由」。

GRASP 通过 action 梯度路由

这就是让 GRASP 生效的关键。动作空间是低维且被穷尽训练的 —— 模型在 rollout 收集期间见过几乎所有动作方向。所以 $D_a F_\theta$ 表现良好。state 空间是高维且相对稀疏覆盖的，所以 $D_s F_\theta$ 不行。GRASP 构建一个 collocation（lifted-state）规划器 —— 联合优化状态和动作，把动力学作为软惩罚 —— 然后阻止梯度流入 $F_\theta$ 的 state 输入。信号只通过 action 输入进入模型。state 迭代仍然更新，但由稠密的 goal shaping 项和随机探索噪声驱动，而非对抗性的 state 雅可比。

lifting 换来时间上的并行

collocation 的做法把动力学约束 $s_{t+1} = F_\theta(s_t, a_t)$ 当作软惩罚，联合优化动作序列和状态序列：

$$\min_{\mathbf{s}, \mathbf{a}} \sum_{t=0}^{T-1} |F_\theta(s_t, a_t) - s_{t+1}|^2, \quad s_0 \text{ 固定}, ; s_T = g.$$

现在每次 world model 评估只依赖局部变量，所以所有 $T$ 项可以跨时间并行计算。你不再通过一个深的 $T$ 步组合反向传播；导致条件数指数问题的雅可比乘积拆成了一个求和。全局最小值不变 —— 两个目标都在轨迹动力学可行时恰好为零 —— 但优化景观截然不同。

让 lifted 规划器变得可处理的两个要素

仅靠 lifting 在深度 world model 上不奏效，因为现在你直接通过 $F_\theta$ 优化 state —— 正是对抗脆弱性所在之处。GRASP 加上两个要素。

要素一 —— 给 state 迭代加噪进行探索。 在优化过程中向虚拟 state 更新注入高斯噪声：

$$s_t \leftarrow s_t - \eta_s \nabla_{s_t} \mathcal{L} + \sigma_{\text{state}} \xi, \qquad \xi \sim \mathcal{N}(0, I).$$

动作仍按非随机梯度下降。state 噪声让规划器在 lifted 空间中跳过盆地，而动作由干净梯度引导。这不是 Langevin 动力学 —— 只有 state 是随机的 —— 而这种不对称是刻意的：给你不能信任的部分加噪，给你能信任的部分下降。

要素二 —— stop-gradient dynamics loss 加稠密 goal shaping。 停止流入 $F_\theta$ 的 state 梯度：

$$\mathcal{L}{\text{dyn}}^{\text{sg}} = \sum{t=0}^{T-1} |F_\theta(\bar{s}t, a_t) - s{t+1}|^2.$$

单用它失败：state 只追赶上一步，没有东西迫使基础 state 追赶下一步，原点出现平凡最小值。所以 GRASP 在整个预测中加上一个稠密目标项：

$$\mathcal{L}{\text{goal}}^{\text{sg}} = \sum{t=0}^{T-1} |F_\theta(\bar{s}_t, a_t) - g|^2.$$

在通常设置下这会过度偏向贪心直线解。与偏向可行转移的 stop-gradient dynamics loss 平衡后，两者抵消成一个既被引导又被锚定的规划器。最终目标完全不依赖 state 梯度。

周期性同步让 lifted state 保持诚实

每 $K_{\text{sync}}$ 次迭代，GRASP 简要地通过真实串行目标 rollout 当前动作并做几个小梯度步。lifted 优化承担主要工作；同步让 state 和动作锚定到真实轨迹。细化步骤是可组合的 —— 换成任何串行规划器（例如 CEM）。架构不是单体，而是一条带周期性现实校验的已测量路径。

被测量的路径才是被训练的路径

[PERSONAL EXPERIENCE] 我在构建预测系统上花的时间足够长，足以认出这个模式：失败的那个组件几乎从来不是你正在监控的那个。GRASP 作者没有发现新优化器。他们识别出系统中哪条路径承载着可靠测量 —— action 梯度，在 rollout 收集期间被密集采样 —— 哪条承载着不可靠的 —— state 梯度，流形外对抗 —— 然后据此路由。数学就是数学；工程直觉在于路由。

这正是我们在 Everythink 应用的纪律。来自 the 21 papers 的 Theorem 3 指出，一个属性恰在其机制被实现且在测量时才被保证。「被实现且在测量」是一个路由决策。你找到信号扎根于数据的那条路径，拒绝发布一个依赖未被测量路径的保证。一个依赖未测量路径的预测不是预测，而是一个贴着概率标签的断言。

The space is the router。在我们的拓扑中，一个 network 包含 communities，communities 包含 rooms，room 是请求在任何东西响应之前落地的地方。路由发生在检索之前、生成之前、任何梯度计算之前。GRASP 在不同尺度上做出同样的架构选择：action 输入是信号进入模型之处，在任何 state 传播之前。路由决策 —— action 进、state 隔离 —— 正是让长 horizon 可处理的关键。

路由错误时长 horizon 规划的代价

GRASP 论文中的 Push-T 基准对路由错误路径的代价毫不含糊。成功率和成功中位时间，按 horizon：

Horizon	CEM	GD	LatCo	GRASP
H=40	61.4% / 35.3s	51.0% / 18.0s	15.0% / 598.0s	59.0% / 8.5s
H=50	30.2% / 96.2s	37.6% / 76.3s	4.2% / 1114.7s	43.4% / 15.2s
H=60	7.2% / 83.1s	16.4% / 146.5s	2.0% / 231.5s	26.2% / 49.1s
H=70	7.8% / 156.1s	12.0% / 103.1s	0.0% / —	16.0% / 79.9s
H=80	2.8% / 132.2s	6.4% / 161.3s	0.0% / —	10.4% / 58.9s

通过完整 rollout 的梯度下降 —— 同时使用 action 和 state 雅可比的路径 —— 在 40 步从 51% 崩塌到 80 步的 6.4%。LatCo，另一种不停止 state 梯度的 collocation 方法，在 70 步时为 0%。只通过 action 雅可比路由的 GRASP 是唯一在 80 步仍保持在 10% 以上的方法，且在 GD 用近三分钟时它不到一分钟。这种崩塌不是 horizon 税。这是把信号路由到未被测量路径的代价。

CEM，一种不用梯度的采样规划器，在 40 步比 GD 强但到 60 步崩塌。错误的梯度比没有梯度更糟，因为它携带虚假信心。

这与一个校准过的预测如何相连

我们的 Sisters 是有类型的 AI agent，每个为真实世界行动者想象一个 plausible 未来；Oracle 把它们的输出合并成一个校准过的概率锥。架构是并行扇出 —— 每个 Sister 独立起草，Oracle 归一化 —— 而校准是一个测量，不是断言。ensemble 在唯一一处归一化，熵以 nats 报告。这就是生产中的 Theorem 3：归一化机制被实现且在测量，所以属性（概率之和 ≈ 1.0）被保证。

GRASP 的 collocation 做法 —— 把轨迹 lift 到虚拟 state 让所有时间步并行优化 —— 在结构上与我们的 Sisters 扇出相同。跨时间并行和跨 agent 并行都换来探索能力，无需串行通过单个深计算图。在两种情况下，合并步骤（我们的 Oracle，GRASP 的周期同步）让并行草稿保持诚实。没有合并步骤的并行只是噪声。

HAI Engine ✅ 自 2016 年起在生产中。Sisters ✅ 和 Oracle ✅ 是生产。World Monitor ✅ 在行星规模上路由并缓存真实世界信号 —— 但它不预测冲突；它呈现信号，由人类决定其含义。这条边界映照 GRASP 的：它信任的 action 梯度，它不信任的 state 梯度。

GRASP 没有声称什么，以及为什么这很重要

作者对局限直言不讳。GRASP 是「此类规划器的一个初始迭代」。向基于扩散的 world model 扩展、更精细的加噪策略、以及闭环 RL 集成被列为下一步，而非成就。Push-T 结果是基准，不是部署声明。

这是我们保持的诚实姿态。Matchmaking ⚠️ 和 Marketplace ⚠️ 是 Partial —— 它们可用，我们不会过度推销。Calendar ⚠️ 是 Partial。Wallet & Token 🔵、Super App 🔵 和 Community Credit 🔵 是 Roadmap、pre-revenue、受 Howey review 约束。我们不会因为基准好看就把 Roadmap 项目悄悄升格为 Production。客户主权 —— 你的 network、你的品牌、你的数据 —— 不是我们赋予的功能，而是系统路由所经的拓扑。而 scope 伦理也是一个路由决策：仅限民用和防御用途，by design 包含多语言、多模态、低连接场景。

[ORIGINAL DATA] 在我们自己的预测工作中，误校准的最大单一来源不是模型参数量 —— 而是团队相信承载信号的路径与测量表明实际承载信号的路径之间的差距。弥合这个差距是路由练习，不是训练练习。每次我们改善校准，改变都是路由改变：信号在哪进入、在哪归一化、在哪被校验。参数量只在路由已经正确时才移动。

关键要点

• 沿被测量的路径路由。 GRASP 生效是因为 action 梯度被密集训练而 state 梯度在流形外是对抗性的。规划器通过阻止信号进入脆弱路径而成功。
• lifting 换来并行，路由换来正确。 collocation 跨时间并行；stop-gradient 保持信号干净。两者都需要，按此顺序。
• Theorem 3 推广了这个原理。 一个属性恰在其机制被实现且在测量时才被保证。action 梯度是被测机制；state 梯度是未测的那个。
• 长 horizon 放大脆弱性，不只是成本。 GD 和 LatCo 在 80 步的崩塌是对抗雅可比的复合。错误的梯度比没有更糟。
• 对局限的诚实是机制的一部分。 GRASP 作者把工作标记为初始迭代。我们把 Roadmap 项目标记为 Roadmap。两者都是 scope 决策。

常见问题

GRASP 是否意味着 world model 规划已被解决？ 否。作者把它定位为初始迭代。基于扩散的 world model、闭环集成和更丰富的加噪策略仍是开放的。GRASP 表明的是，沿被测量路径路由梯度是让长 horizon 规划变得可处理的杠杆。

为什么停止 state 梯度不会破坏规划器？ 因为稠密 goal shaping 和随机 state 噪声承载了 state 雅可比本会承载的信号，且不带对抗脆弱性。周期同步让 lifted state 对真实 rollout 锚定。state 梯度被替换，而非被移除。

这与 LatCo 有何不同？ LatCo 也是 collocation 规划器，但它不停止 state 输入梯度。它在 70 步 0% 的成功率是把信号路由到对抗路径的代价。GRASP 的贡献是路由决策，不是 lifting。

这与 Everythink 有何关系？ 路由原理相同。「The space is the router」意味着 network-community-room 拓扑在任何模型响应之前路由请求。GRASP 在任何 state 传播之前通过 action 输入路由梯度。Theorem 3 是形式化版本：只在机制正在测量的路径上保证属性。

HAI Engine 是一个 world model 吗？ HAI Engine 是运行 Sisters 和 Oracle 的生产预测系统。它不是 GRASP 意义上的学习式动力学模型。联系是架构性的：两个系统都沿被测量路径路由信号，拒绝发布依赖未测量路径的保证。

Sources

• 2026 — BAIR Blog，《Gradient-based Planning for World Models at Longer Horizons》— https://bair.berkeley.edu/blog/2026/04/20/grasp/
• Psenka, Rabbat, Krishnapriyan, LeCun, Bar (2026)，《Parallel Stochastic Gradient-Based Planning for World Models》— https://arxiv.org/pdf/2602.00475
• Stutz, Hein, Geirhos, Schölkopf, Bethge (2019)，《Disentangling Adversarial Robustness and Generalization》— https://arxiv.org/pdf/1812.00740

---

准备好沿被测量的路径路由你的预测了吗？创建你的 network 或 阅读 the 21 papers。