把 KV 缓存挪进 SSD：首 token 延迟降了 4 倍，GMI Cloud × Tensormesh 联合实测
GMI Cloud 与 Tensormesh 联合实测：SSD 支撑的前缀缓存让首 token 延迟降 4 倍，命中率从 3% 升到 50% 以上，纯赚性能不加钱。
标签： LMCache
KV 缓存分层：AWS 给推理集群的四层存储方案
AWS给推理集群四层存储方案：HBM到S3按温度分层；MLA让R1每token仅70KB，是Llama 405B的1/7；超5万token读回比重算快。
