标签：推理服务

2026-11-13

由内推小冬

Google 开源 XLA Serving Engine：内部生产跑到 600 万 QPS，为什么它不是 vLLM 的替代品

Google 开源 XSE：内部生产跑到 600 万 QPS，吞吐 5 倍于最佳 Python 服务、内存仅四分之一，但不是长上下文 LLM 引擎的替代品。