分类： LLM大模型

在H100 80GB上对比vLLM、TensorRT-LLM和SGLang三大推理引擎：TensorRT-LLM吞吐量领先13%但需28分钟编译；vLLM支持最广冷启动最快；SGLang的RadixAttention在共享前缀场景下有独特优势。选型建议按prefix overlap比例决策。