LLM 量化技术速览：从 INT4 到 NVFP4，你的模型到底瘦了几圈
70B 模型从 BF16 的 140GB 一路压到 INT4 的 35GB，2026 年的 LLM 量化已让消费硬件跑得起千亿参数。本篇横向对比 GGUF、GPTQ、AWQ、NVFP4 四大路径，给出聊天/代码/长文档/企业部署四种场景的选型建议，看懂「量化不是免费午餐」这件事。
标签： NVFP4
NInfer-V100-Duo 体验记：NVFP4 让老卡跑出 150 t/s 的秘密
NInfer-V100-Duo 是 plus1998 在 GitHub 上开源的 C++/CUDA 推理框架，专为 2×V100-SXM2 优化。它用 NVFP4 量化、MTP 推测解码、TP2 张量并行，在双 V100 上把 Qwen3.8-27B 跑出平均 151 tok/s、5 秒峰值 183 tok/s，比同卡 llama.cpp 快 2-3 倍。本文记录 1Panel 容器化部署、MTP3/4/5 性能对比、TP2 NVLink 通信原理，以及 NInfer 与 llama.cpp 的场景取舍与上手建议。
