标签：稀疏注意力

2026-11-11

由内推小冬

稀疏注意力的新外挂：LMSYS 联手 Netpreme，KV 外置换内存层，解码快 2–3 倍

LMSYS 与 Netpreme 把 KV 外置换成高带宽内存层：16K 上下文 TPOT 降 49.25%，峰值解码吞吐达 2.09–3.04 倍。