8卡V100复活指南：2026年最新vLLM部署实测来了
摘要：数据中心退役的Tesla V100被很多人视为”电子垃圾”，但有开发者实测证明：只要用对方法，8张V100-32GB仍能流畅运行Qwen3、Gemma4、GLM4等2026年主流模型。本文带来详尽的基准测试数据，以及让老显卡焕发第二春的独门技巧。
被低估的算力遗产
NVIDIA Tesla V100发布于2017年，距今已近9年。在H100、A100横行的今天，V100似乎早就该退出历史舞台。但实际情况是：全球数据中心有大量V100正在退役或已经流入二手市场，价格相当亲民。
问题的关键在于：主流推理框架的预编译 wheel 默认不再支持V100（因为CUDA 12.8+不再包含sm_70计算能力），很多人买回来后发现根本跑不起来。但这不意味着V100真的”不行”——只是需要一点动手能力。
核心技巧：从源码构建vLLM
关键发现：vLLM官方预编译的pip包确实不再支持V100，但源码中仍然保留了sm_70的计算路径。只需要在CUDA 12.6工具链上从源码编译，就能重新激活V100。
一句话攻略：不要用
pip install vllm，要用源码构建 + CUDA 12.6。
实测使用两个版本的vLLM引擎：
- vLLM 0.21 —— 支持最新模型架构（Qwen3.6、Gemma4等），兼容性更好
- vLLM 0.19 —— 实测解码吞吐量普遍快10-20%，是追求性能的首选
实测结果：7大模型家族性能全览
测试环境：8×V100-32GB SXM2 (sm_70)，使用FP16和FP8两种精度。
单用户解码性能（单位：tokens/s）
| 模型 | 格式 | vLLM 0.19 | vLLM 0.21 | 差距 |
|---|---|---|---|---|
| Qwen3.5-35B-A3B | FP8 | 90.45 | 74.86 | +21% |
| Qwen3.5-35B-A3B | FP16 | 63.51 | 56.19 | +13% |
| Qwen3.5-27B | FP8 | 54.05 | 46.05 | +17% |
| Qwen3.5-27B | FP16 | 40.04 | 35.43 | +13% |
| gemma-4-26B-A4B | FP8 | — | 72.85 | — |
| gemma-4-26B-A4B | FP16 | 39.47 | 44.39 | -11% |
| GLM-4.5-Air | FP8 | 64.67 | 65.45 | -1% |
关键结论：
- vLLM 0.19在大多数模型上解码更快，最高可达21%的领先幅度
- FP8量化是V100的最佳选择，稀疏MoE模型提升尤为明显（Qwen3.5-35B-A3B提升42%）
- Gemma4系列在0.21版本上表现更好
8并发用户聚合吞吐量
| 模型 | 格式 | 聚合吞吐(tok/s) |
|---|---|---|
| Qwen3.5-35B-A3B | FP8 | 414 |
| Qwen3.5-35B-A3B | FP16 | 224 |
| GLM-4.5-Air | FP8 | 208 |
| Qwen3.5-122B-A10B | FP8 | 279 |
划重点：FP8相比FP16在8并发场景下可实现接近翻倍的吞吐量提升。
首token延迟（TTFT）对比
| 模型 | 格式 | 冷启动TTFT | 缓存命中TTFT |
|---|---|---|---|
| Qwen3.5-35B-A3B | FP16 | 14.22s | — |
| Qwen3.5-35B-A3B | FP8 | 56.68s | — |
| gemma-4-31B | FP16 | 186s | 1.76s |
| gemma-4-31B | FP8 | 196s | 2.32s |
注意：FP8在预填充阶段（Prefill）存在较大开销，尤其是Qwen的block-FP8格式。但解码阶段的收益远大于预填充的损失。
V100专属优化技巧
必须使用的参数
# V100只支持FP16，禁用BF16
--dtype float16
# 启用CUDA Graph，可获得3-5倍性能提升
--compilation-config '{"mode":0,"cudagraph_mode":"FULL_DECODE_ONLY"}'
# 纯文本模型务必跳过多模态 profiling
--skip-mm-profiling并行策略选择
- Tensor Parallel (TP)：优先选择，速度更快
- Pipeline Parallel (PP)：当模型过大无法用TP时使用
实测推荐：
- 27B模型 → TP4
- 35B MoE模型 → TP4
- 122B MoE模型 → TP8
小夏点评
- 二手V100依然能打：8卡V100-32GB的总显存在256GB，对于部署70B以下的dense模型或110B以下的MoE模型依然充裕。关键是从源码编译而非直接pip安装。
- 0.19才是性能担当：虽然0.21支持更多新架构，但追求吞吐量的话，0.19在V100上普遍快10-20%，没有特殊需求建议用0.19。
- FP8是V100的救星：稀疏MoE模型+Qwen3.5-35B-A3B+FP8是V100上的黄金组合，吞吐量接近翻倍。对于算力有限的团队，这是最具性价比的方案。
- 给国内运维的启示：很多企业还有V100库存，与其闲置或当废品处理，不如用这套方案盘活。8卡V100的价格可能比单张H100还低，但组合使用能承接中小规模的推理业务。
参考链接
- 原文GitHub仓库：v100-vllm-2026
- FP8优化插件：fp8-w8a16-sm70
- vLLM官方仓库：vllm-project/vllm
