标签： CUDA Graph

LLM大模型 / 特色文章

2026-10-27

由内推小冬

从 197 秒到 0.82 秒：vLLM Elastic EP 实现推理集群近零停机扩缩容

MoE 推理扩缩容过去要重启整个副本、中断几十秒到三分多钟；vLLM 用后台准备加通信组原地扩容，把 16↔20 卡的中断压到 2 秒以内。