Strata 双 V100 部署实测:老旧数据中心显卡如何跑动 125B MoE 大模型
花几千块买两张数据中心退役的 NVIDIA V100,能跑 125B MoE 大模型?Strata 实验性 CUDA 12 支持实测告诉你答案。
花几千块买两张数据中心退役的 NVIDIA V100,能跑 125B MoE 大模型?Strata 实验性 CUDA 12 支持实测告诉你答案。
实测消费级GPU运行本地LLM的性能差距:RTX 5090达213 tokens/s,但性价比之王是249美元的Intel Arc B580。