Magnitude 发布面向 agent 的自优化推理引擎，称最高比 llama.cpp 快 2 倍

Hey HN，我们是 Anders 和 Tom。我们正在打造 Magnitude，一个面向智能体的推理引擎，它能自我优化，以在你的硬件上尽可能快地运行。它可在 Mac、Linux 和 Windows 上运行，支持任何硬件，且比 llama.cpp 快最多 2 倍。

我们俩都是软件工程师，此前曾打造过一个开源浏览器智能体，获得了 4k+ GitHub 星标和 100k+ 次下载。我们越来越希望能在本地模型上运行它，但发现没有一款推理引擎适用于我们的用例。

如今的推理引擎都要在性能上做出取舍。它们要么是：

- 为数据中心硬件上的批处理推理而构建，代价是单会话性能（vLLM、SGLang） - 为广泛兼容性而设计，而非针对特定硬件优化（llama.cpp、Ollama） - 专为特定硬件或模型而定制，但缺乏引擎完整性（oMLX、ds4）

此外，它们没有一款是为在本地运行智能体而设计的。会话持续时间长，往往同时运行多个，而且你还想用电脑做别的事。

Magnitude 旨在为你的硬件带来最大性能，并支持运行本地智能体：

- 设备端编译与调优：内核以灵活参数编写，并在模型运行前于你的实际设备上调优。这让你既能拥有广泛的硬件兼容性，又能达到与硬件专用内核相同的性能上限。

- 聚焦最佳架构：我们为最流行的开放权重模型系列编写可调优、高效的内核。这让我们能够达到并超越硬件或模型专用引擎的性能，而不必为了过度泛化而牺牲性能。

- 动态内存分配：Magnitude 在启动时只预留足以容纳模型权重的内存。随着你的智能体会话增长，内存堆会动态增大，并在智能体停止时自行释放。智能体运行时，你的硬件仍可用于其他用途。

- 混合分页注意力：我们借鉴了 SGLang 等引擎的最佳思路，让并发会话可以共享前缀缓存，但针对内存邻接性优化放置，从而不让单会话性能受损。

Magnitude 完全开源（Apache 2.0）。我们用 Rust 构建了它，包括自定义的 GPU 内核运行时和自动调优器。我们从学术界最出色的推理创新（例如 FlashAttention、FlashInfer、TurboQuant）以及其他引擎（例如 SGLang radix attention）中汲取灵感，以触及性能上限。

在 Qwen 3.6 35B A3B（4 bit）、64k 上下文、无推测解码的条件下，与 llama.cpp 进行基准对比：

Metal（Mac M4 Pro 48 GB） - 解码快 92%（30 tok/s → 57 tok/s） - 预填充快 9%（466 tok/s → 507 tok/s） - 每个智能体的内存占用少 28%

CUDA（DGX Spark） - 解码快 19%（49 tok/s → 58 tok/s） - 预填充快 23%（2,033 tok/s → 2,507 tok/s） - 每个智能体的内存占用少 27%

Magnitude 以桌面应用的形式发布，你可以轻松地把它与你已经在使用的各种智能体（Pi、OpenCode、Hermes、Codex 等）连接起来。当这些智能体真正需要时，它会按需自动运行模型，并在闲置后将其关闭。 它看起来是这样的：https://www.youtube.com/watch?v=0qE8BWEZu7o

我们很兴奋能进一步推进 Magnitude，让你在同一硬件上运行更大的模型，同时持续提升性能。我们的计划包括：

- 专家流式加载：将专家存储在 RAM 或磁盘上，并即时加载。这样你就能运行原本无法塞进 GPU 的更大模型。

- 内核编译器：我们当前的内核只调优少量参数来适配你的硬件。我们可以更进一步，打造一个完全自定义的编译器，自动选择如何融合内核以及使用哪些实现，从而更好地适配你的硬件。

- 多设备利用：通过检测系统上的所有硬件（CPU、GPU、RAM、磁盘），自动求解最佳的模型布局，从而尽可能充分利用这些硬件。

我们很希望有更多人试用并给我们反馈。欢迎在这里留言，我们全天都在！