标签：大模型推理

服务器 / 特色文章

2026-11-13

由内推小冬

2017 年的卡跑成这样有点离谱：V100 跑 27B 大模型的三条路线与真实速度

V100 跑 27B 三条路线实测：llama.cpp 46.07 tok/s、NInfer 单卡 218.98、四卡 322.18。官方预编译包是最大坑。