LLM 量化技术速览：从 INT4 到 NVFP4，你的模型到底瘦了几圈
把一张 70B 参数的大模型从 BF16 一路压到 INT4，VRAM 占用能从 140GB 降到 35GB，速度还能翻倍——这就是 2026 年 LLM 量化给整个 AI 行业带来的最大红利。
但「量化不是免费的午餐」：每减一比特位宽几乎都会换一点质量损失，不同的量化方法（GGUF、GPTQ、AWQ、NVFP4）走出完全不同的路。本篇是 AI 专栏「推理引擎系列」第 4 篇（前 3 篇 Strata、llama.cpp、NInfer 与横评），用同一组实测数据把四大量化方案拆开——为什么消费级硬件能跑千亿模型、企业部署又该选哪条路径。
一、量化基础：BF16 / FP8 / INT4 / NVFP4，每级省多少
LLM 的「权重」本质是一堆数字，量化用更少比特位宽表示它们：位宽减半显存减半，位宽减四分之三显存减四分之三。
- BF16：2 字节/参数，2026 训练与全精度推理的事实标准，70B 这一步要 140GB。
- FP8：1 字节/参数，Blackwell 和 Hopper 硬件直吃，性能比 BF16 近翻倍，质量损失 <1 个点——2026 数据中心推理性价比之王。
- INT8：1 字节/参数，老硬件只能用，兼容性最广。
- INT4：0.5 字节/参数，单卡跑 70B 的钥匙。数学推理敏感任务掉几个点，聊天摘要几乎无感。
- NVFP4：0.5 字节 + 4 位浮点，Blackwell 专属，是 INT4 的浮点升级版，复杂推理比 INT4 稳很多。
直观感受：同一块 96GB 显存，BF16 塞 35B，FP8 塞 70B，INT4 / NVFP4 塞 130B。这就是「模型从 140GB 压到 35GB」成为 2026 开源 LLM 平民化起点的根本原因。
二、主流量化方法：GGUF / GPTQ / AWQ / NVFP4
位宽只是「压到几比特」，真正较量在于「哪几个权重值得保护、哪几个可粗暴砍精度」。下面四个方案是这件事的四种回答。
- GGUF（llama.cpp 系，2-8 bit 全覆盖）：单文件、自带 tokenizer 和 metadata，CPU / Apple Silicon / 消费 GPU 通吃，最适合 llama.cpp / Ollama。Q4_K_M 是 INT4 平衡档——70B 压到 41GB，质量留 95.6%。
- GPTQ（按层最小化误差，主流 INT4）：用二阶信息逐层找最优量化参数，社区生态最厚，Llama/Mistral/Qwen 几乎都有现成模型。vLLM + Marlin 内核下吞吐比默认 GPTQ 提升 2.6 倍。
- AWQ（激活感知权重量化）：calibration 找出”激活分布最敏感”的 1% 权重加保护，其余 99% 激进量化。INT4 下质量比 GPTQ 高 1-2 个点，是「vLLM 部署 INT4」当前最佳实践。
- NVFP4（NVIDIA Blackwell 专属）：FP4 + 共享指数的混合方案，保留高动态范围。NInfer-V100-Duo 实测 150 t/s，但需要 Blackwell 硬件。
横向对比（70B Llama-3.3、H200、vLLM 0.18）：
| 格式 | 位宽 | 模型大小 | WikiText | HumanEval |
|---|---|---|---|---|
| BF16（基准） | 16 bit | 140 GB | 5.95 | 68.4% |
| FP8 | 8 bit | 70 GB | 6.04 | 67.2% |
| GPTQ-INT4（Marlin） | 4 bit | 40 GB | 6.62 | 52.3% |
| AWQ-INT4（Marlin） | 4 bit | 40 GB | 6.41 | 54.8% |
| NVFP4 | 4 bit FP | 38 GB | 6.18 | 60.7% |
| GGUF Q4_K_M | 4 bit INT | 41 GB | 6.74 | 51.8% |
数字很清楚：FP8 是性价比之王，NVFP4 是 2026 最强 4 位，AWQ 在 INT4 里称王，GPTQ 生态最全，GGUF 跨平台最稳。下面这张主板特写相当于「不同量化方法跑在不同硬件、由不同内核消化」的视觉注脚——同样权重换一条路径就能多榨几倍吞吐。
三、质量损失实测：哪些任务对量化敏感
困惑度只回答”下一个 token 像不像”，下游任务才是真度量。按任务类型排（敏感度从高到低）：
- 数学竞赛 / 复杂推理：最敏感。BF16 70B 拿 74.2% MATH，INT4 掉到 60.5%，差距 14 个点。
- 代码生成（HumanEval）：中等敏感。BF16 68.4%，AWQ-INT4 守 54.8%；但代码补全（copilot 补一行那种）几乎不掉。
- 长上下文问答 / RAG：低敏感，128K 下”找某关键词”几乎不掉点。
- 聊天 / 摘要 / 分类：几乎无感，是 Ollama + GGUF Q4_K_M 在消费硬件跑得欢的根因。
- Embedding 生成：完全不敏感。
所以「140GB 压到 35GB」在聊天和 RAG 上几乎白嫖，在数学和复杂推理上是要拿 14 个百分点的准确率换显存——这就是「量化不是免费午餐」的真实含义。
四、怎么选？四种场景的选型建议
- 日常聊天 / 摘要 / RAG（消费 24GB）：GGUF Q4_K_M + llama.cpp / Ollama 是默认起点。8GB 显存跑 13B 再降到 Q3_K_M。
- 代码补全（16-24GB 消费级）：AWQ-INT4 + vLLM 更稳，质量比 GPTQ-INT4 高 2 个点，硬件需求一样。
- 长文档 / 32K+ 上下文（数据中心 80GB / 多卡）：NVFP4 + TensorRT-LLM v1.2 + NVLink 多卡，长文压力下还能稳。
- 企业生产部署（多卡 H100/H200）：FP8 + vLLM 是 2026 主流最优解——吞吐比 BF16 接近翻倍，质量损失 <1 个点，无需自做 calibration。如一定要 INT4，AWQ 是稳的第二选择。
五、小夏点评：别被位宽数字欺骗
做这期最大的体感：聊量化不能光看「精度降了几倍」这个表面数字，而要看「具体任务的精度损失 + 软硬件匹配度 + 生态系统成熟度」三件事。前两篇讲 llama.cpp / NInfer 时就反复遇到过：模型对量化敏感不敏感完全取决于任务类型——同样 70B，聊天 INT4 几乎无感，数学竞赛题直接掉 14 个点。「量化」从来不是非黑即白的开关。
第二点：「格式不等于方法」反直觉——同样 INT4，AWQ / GPTQ / GGUF / NVFP4 给出完全不同的质量、速度、生态：AWQ-INT4 跑 vLLM 是首选，但同样权重塞到 llama.cpp 里根本读不懂；NVFP4 模型给一张老卡加载也是白搭。所以选量化不是选位宽，是选「位宽 + 格式 + 内核 + 推理引擎」一条完整链路。
第三点：硬件决定上限。Hopper 之前只能吃 FP8/INT4/INT8，Blackwell 才是 NVFP4 的主战场——这也是为什么 NVFP4 在 NInfer 推文里成了核心卖点：它在它该出现的位置出现，才是真正合理的工程选择。量化不是越激进越好，而是要符合硬件能消化的范围。
六、给读者的建议
- 先选硬件再选量化。消费卡还是数据中心卡、显存多大、能跑哪几个位宽，先框死。
- 测真实任务别只看困惑度。困惑度漂亮不代表 HumanEval 也漂亮。
- 优先社区成熟路径。AWQ-INT4 + vLLM 是 2026 最稳的 INT4 主流；GGUF Q4_K_M + llama.cpp 是消费硬件的入门价。
- Blackwell 优先 NVFP4。该卡位上最均衡的方案。
- 复杂推理谨慎压 INT4，至少留一份 BF16 兜底。
推理引擎系列到此告一段落。下一篇会聊聊：当量化 + 推理引擎 + 多卡张量并行同时跑起来时，工程上最容易踩的几个坑，以及 2026 年下半年值得跟进的格式（MXFP4、BitNet 1.58-bit、KV 缓存量化）究竟在解什么问题。
（封面及内嵌图来自 Pexels 公开图库；数据综合自 VRLA Tech《LLM Quantization Explained》、Spheron《GPTQ vs AWQ vs GGUF》、VDF.AI《What Is Model Quantization》、NInfer GitHub performance 文档。）
