Modular MAX 推理性能超越 vLLM 5.5 倍：Kimi K2.5 基准测试深度解析
摘要： Modular 在 MLSys 2026 大会上公布其 MAX 推理栈在 Nvidia B200 GPU 上运行 Kimi-K2.5 模型时，P50 首个 token 生成时间比 vLLM 快 5.5 倍。推理成本已超越训练成本成为企业关注焦点，Modular 试图用统一编译器栈打破硬件厂商锁定。
一场关于推理成本的军备竞赛
过去两年，大模型领域的竞争重心正在发生微妙但关键的转移：训练成本曾是所有 CFO 关注的数字，但如今，推理成本——即模型部署上线后每一次请求响应的计算开销——正在成为新的成本焦点。Modular 正是抓住了这个趋势，在 MLSys 2026 上用一组硬邦邦的 benchmark 数据向整个行业喊话：与其为每个 GPU 厂商分别写一套推理代码，不如用统一的编译器栈一次编译，到处运行。
这家公司花了三年时间推销一个理念：一套代码应该能跑在 Nvidia GPU、AMD GPU 和 CPU 上，无需针对硬件重写。而这次 benchmark，是它们迄今为止最具体、最有攻击性的一次市场发声。
Modular 到底说了什么
Modular 的 MAX 平台是一个编译器 + 运行时组合，设计目标非常明确：用同一个容器镜像跨硬件平台部署。具体到 benchmark 数据，它们甩出了三个核心数字：
| 指标 | 对比模型 | 性能倍数 |
|---|---|---|
| P50 首个 token 生成时间 (TTFT) | Kimi-K2.5 | 5.5x 快于 vLLM |
| P99 首个 token 生成时间 | Gemma-4-31B-it | 2.5x 快于 vLLM |
| 整体吞吐量 | 两款模型综合 | 1.5x 高于 vLLM |
这些数据来自 Modular 首席科学家 Abdul Dakkak 在 MLSys 2026（5月18日）上的 lightning talk，随后公司在 6 月 12 日的博客文章《Three Trends From MLSys 2026》中再次引用，并持续更新至 10 月 2 日。
但这里有一个关键细节需要提醒读者：Modular 公布的 benchmark 缺少完整的测试条件细节——batch size 是多少、用了什么量化设置、序列长度多大、vLLM 具体是哪个版本。这些信息在厂商公布的 benchmark 中经常缺席，而不同的测试条件完全可能导致结果天差地别。一个 5.5 倍的性能优势，在另一种 batch size 下可能缩水甚至反转。
为什么这个数字刺痛了行业神经
推理成本确实已经成为行业痛点。 过去几个月，主流模型厂商密集发布旗舰模型：从 Kimi K3 到 Nvidia 自家的 Nemotron 系列——每个模型都需要 somewhere to run at scale。而 Modular 的逻辑很简单：既然模型本身已经很难做出差异化，那真正的成本战场就在推理层。
对国内运维团队来说，这个趋势意味着几件事：
- – GPU 采购成本不再是唯一的考量。 推理引擎的效率直接决定了每 token 的真实持有成本。
- – 多硬件部署正在从” nice to have”变成” must have”。 随着 AMD MI355X 等非 Nvidia 方案的出现，用一套统一推理栈适配多硬件成了谈判筹码。
- – vLLM 和 SGLang 的生态位可能被动摇。 如果 MAX 能在不增加太多复杂度的前提下带来显著性能提升，很多团队会用脚投票。
技术细节：P50 TTFT 为何重要
Time to First Token（TTFT）衡量的是用户发出 prompt 后多久能看到第一个词返回。P50 代表中位数——也就是典型用户真实体验到的延迟，而不是极端情况。对话式 AI、AI Agent、实时问答这些场景，P50 TTFT 直接决定了用户会不会骂娘。
Modular 选择 P50 作为核心指标，是有策略的：这个指标最能体现 Prefill 阶段的效率——也就是模型处理整个 prompt 并计算 KV cache 的阶段。Decode 阶段（逐 token 生成）的优化当然也重要，但 Prefill 才是并发请求下真正的瓶颈所在。
为什么选 Kimi K2.5 当标尺
Modular 没有随手挑个 7B 小模型刷数据，而是选了 Moonshot AI 的 Kimi-K2.5——2026 年 1 月 27 日发布的 MoE 模型，总参数量约 1.04 万亿，每 token 激活约 320 亿参数，分布在 384 个专家上，原生支持图文，上下文窗口约 256K token，采用改良版 MIT 许可保持开放权重。更关键的是，这个模型从一开始就是为 agent 负载设计的，Moonshot 称之为 Agent Swarm 的机制可以协调最多 100 个子 agent、跑 1500 步并行操作。
用一个又大又偏 agent 的模型做 benchmark，信号很明确：MAX 的性能宣称瞄准的是企业正在部署的重量级多步推理负载，不是玩具级聊天演示。
行业会如何回应
可以预期，vLLM 和 SGLang 的维护者会在未来几周内做出回应——要么公布自己的 benchmark 反驳 Modular 的方法论，要么指出测试条件的不透明。更值得关注的，是 Modular 何时会公布与 Nvidia 自家 TensorRT-LLM 的对比。在一个急于证明自己不需要被 Nvidia 锁定的市场里，跳过 Nvidia 的官方方案本身就是一个会被反复追问的漏洞。
小夏点评
- 1. 5.5 倍这个数字，看看就好。 厂商 benchmark 从来不是独立的第三方评测，测试条件不透明是常态。但 Modular 敢于把具体数字拍在桌上，说明它们对自己的优化确实有底气。
- 2. 推理成本超越训练成本这个叙事，国内比国外更敏感。 国内算力获取成本更高、GPU 供应更紧张，推理效率的优化空间其实更大。
- 3. 对国内运维的启示：不要把所有鸡蛋放在一个推理引擎篮子里。 vLLM 仍是开源首选，但像 Modular MAX 这样的方案值得跟踪测试。多一种选择，就多一份议价能力。
参考链接
- – 原文：Modular MAX Tops vLLM by 5.5x on Kimi K2.5
- – Modular 博客：Three Trends From MLSys 2026
- – vLLM 官方文档：https://docs.vllm.ai/
- – SGLang 官方文档：https://sgl-project.github.io/
