标签： SpeculativeDecoding

Speculative Decoding 是 2026 年 LLM 推理服务的核心加速技术：用小模型先猜 4 个 token，大模型一次并行验证，接受率 ~50% 时单步生成 3 个 token，输出质量零损失（数学证明等价于原始大模型采样）。和 PagedAttention 叠加可让 Llama 70B 服务吞吐提升 8-14×。