标签： bitsandbytes

Jarvis Labs 2026 基准（Qwen2.5-32B-Instruct / 单卡 H200 / vLLM）：Marlin-AWQ 741 tok/s 最快，bitsandbytes 困惑度最低 6.67；AWQ 需校准采样，GGUF 免校准。