vLLM vs TensorRT-LLM vs SGLang：2026年推理引擎H100实测对比
在H100 80GB上对比vLLM、TensorRT-LLM和SGLang三大推理引擎：TensorRT-LLM吞吐量领先13%但需28分钟编译；vLLM支持最广冷启动最快；SGLang的RadixAttention在共享前缀场景下有独特优势。选型建议按prefix overlap比例决策。
标签： LLM推理
Speculative Decoding 深度解析：小模型猜 + 大模型验，零损失 3× 加速
Speculative Decoding 是 2026 年 LLM 推理服务的核心加速技术：用小模型先猜 4 个 token，大模型一次并行验证，接受率 ~50% 时单步生成 3 个 token，输出质量零损失（数学证明等价于原始大模型采样）。和 PagedAttention 叠加可让 Llama 70B 服务吞吐提升 8-14×。
