老卡跑新模型:RTX 3090 六款开源大模型实测,速度与显存全记录
六款开源模型在24GB RTX 3090上的实测:Gemma 4 26B-A4B综合最优159.8 tok/s,Nemotron输出最快193.7,三值量化Bonsai 2显存峰值仅7GB,附3090/4090/5090对比。
六款开源模型在24GB RTX 3090上的实测:Gemma 4 26B-A4B综合最优159.8 tok/s,Nemotron输出最快193.7,三值量化Bonsai 2显存峰值仅7GB,附3090/4090/5090对比。