标签： 分离推理

vLLM 新增 push 式 NIXL KV 传输连接器：decode 端预注册目标块，prefill 端算完提示词后通过后台线程直接推送 KV，把拉取路径上的串行协调与设置移出首 token 关键路径。Qwen3-32B 1P1D 部署实测，高并发长提示下 TTFT 最多改善 3 倍，TPOT 提升约 30%。