标签：推理调度

2026-10-22

由内推小冬

KV 缓存分层：AWS 给推理集群的四层存储方案

AWS给推理集群四层存储方案：HBM到S3按温度分层；MLA让R1每token仅70KB，是Llama 405B的1/7；超5万token读回比重算快。