vLLM vs SGLang 2026 基准对比：前缀共享超 60% 选 SGLang，否则 vLLM
注：原文正文只有一张封面配图、没有内文插图，因此本文以数据表格呈现全部关键指标（来源：Spheron 官方博客《vLLM vs SGLang 2026》，2026‑10‑19 更新）。
核心结论
vLLM 与 SGLang 的选择取决于一个关键指标：前缀重叠率。如果超过 60% 的请求共享公共前缀（系统提示词、RAG 文档、工具定义块），SGLang 的 RadixAttention 能提供明显更低的延迟。如果提示词大多独特，两者吞吐量差距在 5% 以内，选择取决于模型支持广度和运维简洁度。
| 场景 | 推荐引擎 | 关键依据 |
|---|---|---|
| 前缀密集型 RAG | SGLang | TTFT p50 降低 25%–40% |
| 多轮 Agent | SGLang | 对话历史前缀缓存复用 |
| 独特提示词吞吐 | 持平 | 差距 < 5% |
| 最广模型支持 | vLLM | 更快支持新模型架构 |
| Blackwell 原生 | vLLM | FlashAttention 4 支持 B200 |
生产成本对比（Spheron H100，按 2026‑06‑24 价格冻结）
| 引擎 | 独特提示词吞吐量 | 成本/百万 Token |
|---|---|---|
| vLLM | 1,850 tok/s | $0.61（on-demand $4.06/hr） |
| SGLang | 1,920 tok/s | $0.59（on-demand $4.06/hr） |
| SGLang (80% 前缀共享) | 2,550 tok/s | $0.44（on-demand $4.06/hr，前缀缓存生效） |
成本口径说明：原文明确标注，表中 $/百万 Token 是按 2026‑06‑24 冻结的 Spheron 价格做的算例——H100 SXM5 on‑demand $4.06/hr、spot $2.91/hr，H200 SXM5 on‑demand $5.92/hr；$0.44 是 SGLang 在 80% 前缀共享（缓存命中）下的 on‑demand 成本，对照 $0.61 是 vLLM 的 on‑demand 成本（H200 上 vLLM $0.69 / SGLang $0.51；H200 spot $3.31/hr 时 SGLang 前缀场景约 $0.29/百万 Token）。价格随供给波动：截至 2026‑10‑21，H100 on‑demand $2.98/hr、spot $2.20/hr，H200 on‑demand $5.51/hr、spot $3.32/hr，实测请以实时价格页为准。
技术架构对比
PagedAttention（vLLM）
vLLM 将 KV cache 视为操作系统虚拟内存，将 cache 划分为固定大小的块（默认 16 tokens），按需分配。请求完成时块立即释放归还池中。
- APC（自动前缀缓存）：通过
--enable-prefix-caching启用，适用于固定系统提示词 - 对多轮对话和变长前缀处理不如 RadixAttention 高效
RadixAttention（SGLang）
SGLang 用 radix 树组织 KV cache 块，按 token 序列索引。当新请求到达时，SGLang 遍历树找到最长匹配前缀，从该分支点开始计算。
- 默认启用，无需额外配置
- 80% 前缀共享时，cache 命中率达 84%，TTFT 降低 37%
基准测试数据
测试环境（原文 Benchmark Setup）：单台 Spheron H100 SXM5 80GB 裸金属实例（无 hypervisor，宿主驱动 590.48.01，两个引擎均使用 CUDA 13.0 容器，单卡未用 NVLink）；vLLM v0.18.0（
vllm/vllm-openai:v0.18.0）、SGLang v0.5.9（lmsysorg/sglang:v0.5.9-cu130-runtime，RadixAttention 默认开启）；模型为 Llama 3.3 70B Instruct（FP8），权重约 70GB，剩余约 8GB 用于 KV cache；压测客户端为异步 aiohttp，每轮 200 条提示词，测量窗口前预热 60s、窗口 3 分钟，并发档位为 1 / 10 / 50 / 100。
独特提示词吞吐量（50 并发，H100 SXM5）
| 并发数 | vLLM tok/s | SGLang tok/s | 差距 |
|---|---|---|---|
| 1 | 312 | 318 | +2% |
| 10 | 890 | 902 | +1% |
| 50 | 1,850 | 1,920 | +4% |
| 100 | 2,010 | 2,050 | +2% |
前缀密集型工作负载（80% 共享 512-token 前缀）
| 并发数 | vLLM TTFT p50 | SGLang TTFT p50 | 降幅 |
|---|---|---|---|
| 1 | 118 ms | 89 ms | 25% |
| 10 | 142 ms | 98 ms | 31% |
| 50 | 310 ms | 195 ms | 37% |
| 100 | 620 ms | 370 ms | 40% |
Cache 命中率 vs TTFT 提升（50 并发）
| 前缀重叠率 | SGLang Cache 命中率 | TTFT p50 降幅 |
|---|---|---|
| 20% | ~28% | ~7% |
| 40% | ~54% | ~15% |
| 60% | ~71% | ~24% |
| 80% | ~84% | ~37% |
| 95% | ~93% | ~44% |
决策建议
-
前缀重叠率 > 60%：优先测试 SGLang，RadixAttention 默认启用，cache 命中率可通过
/metrics端点直接观察 -
运行 Blackwell（B200、GB200）或需要 Eagle3 投机解码：选择 vLLM，v0.17.0+ 已支持 FlashAttention 4
-
不确定场景：选择 vLLM 作为安全默认，文档最完善，社区支持最广
小夏点评
-
60% 前缀重叠是分水岭：SGLang 在 80% 前缀共享下将 TTFT 从 310ms 压到 195ms，这意味着 RAG 和多轮 Agent 场景应优先考虑 SGLang——国内云厂商的推理服务定价可据此优化。
-
vLLM 仍是万金油：独特提示词下两者差距仅 2-4%，加上更广的模型支持和更成熟的生产部署生态，国内团队在没有明确工作负载特征前，vLLM 是更稳妥的选择。
-
推理成本优化路径清晰：80% 前缀共享下 SGLang 成本降至 $0.44/百万 Token，较 vLLM 独特提示词场景节省 28%。国内 IT 开发者在构建 Agent 平台时，应先测量前缀重叠率，再选择引擎——这是零成本高回报的优化第一步。
