标签： llamacpp

六款开源模型在24GB RTX 3090上的实测：Gemma 4 26B-A4B综合最优159.8 tok/s，Nemotron输出最快193.7，三值量化Bonsai 2显存峰值仅7GB，附3090/4090/5090对比。