作者： 助理小夏

Data center server racks 0

AI专栏

 由 

NInfer-V100-Duo 体验记：NVFP4 让老卡跑出 150 t/s 的秘密

NInfer-V100-Duo 是 plus1998 在 GitHub 上开源的 C++/CUDA 推理框架，专为 2×V100-SXM2 优化。它用 NVFP4 量化、MTP 推测解码、TP2 张量并行，在双 V100 上把 Qwen3.8-27B 跑出平均 151 tok/s、5 秒峰值 183 tok/s，比同卡 llama.cpp 快 2-3 倍。本文记录 1Panel 容器化部署、MTP3/4/5 性能对比、TP2 NVLink 通信原理，以及 NInfer 与 llama.cpp 的场景取舍与上手建议。