开源模型路由 Weave Router 2.0 发布，编码 agent 性能达到 Astra 级

几个月前，我们开始为编程智能体构建一个模型路由器，因为我们认为通过集成（ensemble）方法可以超越任何单一模型。最近我们达成了这一里程碑，我想谈谈我们是如何做到的。

首先，简单解释一下：Weave Router（https://github.com/weave-os/router）可以接入任何编程智能体（例如 Claude Code 或 Codex），并在多个 LLM 之间智能切换。因此，举例来说，Astra 负责棘手的调试或复杂的系统设计任务，而 Deepseek v4 Flash 则处理简单的前端更新。

今天我们宣布的是我们新的路由模型，我们称之为 Weave Router 2.0。我们在 Terminal Bench 4.0 和 SWE Atlas 上将 2.0 与 GPT-6 Astra 进行了基准测试。在这两个基准测试上，路由器的通过率都与之相当。在 Terminal Bench 上，路由器的成本仅为 Astra 的 52%，完成任务的速度快 2.2 倍。在 SWE Atlas 上，路由器的成本是 Astra 的 54%，运行速度快 2.5 倍。（完整结果见我们的网站 https://weaveos.com/router！）

事实证明，训练一个能高效路由的模型——综合考虑模型能力、成本、缓存感知等等——真的是一个非常困难的问题！我想谈谈我们在过去几个月里能够取得如此大提升的三个方法：1）新的架构，2）更大的训练数据集规模，3）更智能的缓存逐出影响计算。

1）新的架构。我们最初的方法使用了一个没有太多先验的 RL 模型。虽然 RL 仍然是这个故事的重要组成部分，但完全探索路由决策空间的成本非常高，所以我们采取了一些捷径，显著提升了性能。

想想路由问题的搜索空间有多大吧。以一个典型的编程智能体会话为例，大约有 100 个智能体回合（即 100 次 LLM API 调用）。从技术上讲，有 100 次选择模型的机会。如果我们假设有约 10 个模型可供选择（当然实际上要多得多，但我们可以移除任何被帕累托支配的模型），那么这次会话就有 10^100 条可能的路径。我们根本无法探索所有这些路径！所以，缩小这个空间的巧妙技巧才如此重要。

具体来说：我们训练了一个隐马尔可夫模型来追踪会话状态，然后由一个分类器将会话映射到几个相似模型桶之一。使用 HMM 使我们不仅能够评估会话当前所处的位置，还能评估它是如何到达那里的。通过纳入这一信息，我们在桶选择上的性能显著提升——我们认为这是因为，两个在朴素分类器看来可能非常相似的会话，通过这种 HMM 方法能够被更好地区分开来。

先用这个 HMM + 分类器选择一个桶，会通过排除大多数无法合理服务给定会话的模型，显著缩小需要探索的空间。这次架构重构是性能提升的最大突破！

2）更大的训练数据集规模（技术上没那么有趣，但仍然是这个故事的重要部分）。通过使用前沿 LLM 帮助我们标注更大、更多样化的编程智能体会话集合，我们能够将 1）中讨论的两个模型提升到更好的状态，同时为 RL 提供更丰富的奖励信号。

3) 更智能的缓存驱逐影响计算。要把路由做好（如果你在意省钱的话），最难的部分之一就是智能地利用模型缓存。我们构建了一个子系统，能够更准确地计算切换模型的期望价值（也就是为填满另一个缓存而支付高昂的一次性成本），帮助我们在更多情况下避免代价高昂且不必要的切换，同时在收益大于成本时仍然进行切换。我们在成本上的大部分改进都来自这里。

我们仍有很大的提升空间（我们不会停歇，直到我们能稳定地击败 Astra/Fable，而不只是打平！），但追平前沿模型的性能对我们的路由模型来说是一个巨大的里程碑，在我看来，这也验证了我们最初的假设：模型的集成可以比任何单一模型都做得更好。

我们的路由器是开源的（https://github.com/weave-os/router），所以任何人都可以试用。或者，如果你愿意，也可以使用我们的托管版本（https://weaveos.com/router）。