二手数据中心卡跑本地大模型实测:P40、P100、V100、A4000 到底怎么选
二手 P40 花 420 美元就有 24GB 显存,只有二手 3090 的两成价。门槛不是速度是软件:CUDA 13 已停止为 P40、P100、V100 编译代码,vLLM 三张卡全拒。
二手 P40 花 420 美元就有 24GB 显存,只有二手 3090 的两成价。门槛不是速度是软件:CUDA 13 已停止为 P40、P100、V100 编译代码,vLLM 三张卡全拒。
两家引擎底层同为 llama.cpp 与 MLX,差别在许可证、GPU 名单和默认网络行为——外加 193 美元二手 P5000 能点亮、16GB 显存怎么算。