NVIDIA Snapshot 开源:GPU 推理副本秒级拉起,恢复 3.6–42.7 秒,最快 36 倍
NVIDIA 把已初始化的 GPU 显存与进程状态做成可移植快照,Kubernetes 上恢复推理副本仅需 3.6–42.7 秒,比冷启动快 8–36 倍。
NVIDIA 把已初始化的 GPU 显存与进程状态做成可移植快照,Kubernetes 上恢复推理副本仅需 3.6–42.7 秒,比冷启动快 8–36 倍。
超微Super AI Station实测:塔式/5U可转换,Grace+Blackwell,并发32多场景破3000 tokens/s,满载噪音39-42dBA
K8s 1.37「Garhwal」:67项增强,HPA缩容到零升Beta且默认开启,DRA扩展资源支持GA——空闲GPU可真正下线。
生产 K8s GPU 利用率常年 0-10%:sharing+spot+承诺折扣三层叠加,示例账单 $10,000/月 压到 $2,400。
同一块 GB202,单用户 5090 快 10–15%,30B+ 多用户 PRO 6000 反手 1.8 倍——推理是带宽瓶颈,2026 选卡的实测地图。