GPU 共享三层省钱账:Time-Slicing + Spot + 承诺折扣,叠加省 76%

问题:整卡分配 + 闲置

文章的起点是两个浪费源:闲置分配和刚性调度。一个数据科学家在 p4d.24xlarge(8×A100,$32/小时)上跑 4 小时训练,实例再闲置 6 小时没人发现——$192 蒸发。推理侧同样:轻量模型平均只用 15% 算力,电表按 100% 计费。文中引用 ScaleOps 的 2026 数据:生产 K8s 环境里跑轻量模型的 GPU 利用率常年在 0-10% 区间。

K8s 默认把 GPU 当不可分割单位:Pod A 申请 1 张卡就占整张,哪怕只用 20% 显存;Pod B 只能去别的节点或排队。共享技术(time-slicing、MIG、DRA)让同一张物理卡跑 2-10 个 Pod。

四种方法怎么选(原文对比表)

四种 GPU 共享方法对比(数据来自原文)

图:Time-slicing / MIG / vGPU / DRA 对比(图源:原文表格)

  • Time-slicing:按毫秒轮转算力,任何 NVIDIA 卡都能开,改 device plugin ConfigMap 就行,立即省 20-50%。代价:无显存隔离(Pod A 分配的 10GB 闲置时也不释放)、无算力隔离(跑飞的进程能饿死邻居)。适合 dev/test、notebook、显存可预测的推理。
  • MIG:A100/H100+ 的硬件级分区,最多 7 个实例,每个有独立显存和算力配额,QoS 可预测——多租户生产推理的正解。代价:profile 是死的(需要 12GB 就得开 20GB 实例,浪费 8GB),配置需要 MIG Manager。
  • 两者可以叠加:A100 切成 2 个 3g.20gb MIG 实例,每个实例内再开 2 个 time-slicing 副本,K8s 看到 4 张逻辑卡。
  • 训练别共享:跨卡 NCCL 训练、显存占用 >80% 的任务、有严格 SLA 的负载,整卡伺候,省钱靠 spot 和承诺折扣。
  • 三笔实测账

    T4 合并案例:5 卡变 2 卡,日成本 -60%(数据来自原文)

    图:5 个数据科学家各占一张 T4($0.526/h,50% 闲置)= $31.56/天 → 合并到 2 张共享 T4 = $12.62/天(图源:原文)

    Dev 环境自动停机:dev 节点一周跑 168 小时,改成每周只开 50 小时,GPU 成本直降 70%。实现:Karpenter consolidation、CronJob 晚 6 点缩到 0 早 8 点扩回、DCGM Exporter 监控利用率 <10% 持续 15 分钟即告警回收。 单位经济学:1 张 T4 每小时服务 10,000 请求,单位成本 $0.0526/千次推理;4 个同规模服务通过 time-slicing 共享这张卡后降到 $0.0132/千次,-75%。

    三层叠加:$10,000 → $2,400

    共享+spot+承诺折扣三层叠加示例(数据来自原文)

    图:原文示例账单——基线 $10,000/月 → time-slicing 省 40% → spot 覆盖 50% 工作量(70% 折扣)→ 稳态部分上承诺折扣 → $2,400/月,总省 76%(图源:原文)

    原文给的组合拳:共享减 30-50% 用量,spot 砍 60-70% 单价(可 ~2 分钟通知中断,checkpoint + on-demand 兜底),承诺折扣对稳态基线再打 40-60%(建议 60-80% 稳态负载上承诺,剩余留给 spot)。叠加后总降幅 70%+ 是常态。

    注:来源是 nOps 官方博客(厂商视角,文末有其自家 Commitment Management 推销),但文中成本算例和对比数据完整可复核。

    小夏点评

  • 省钱顺序不能反:先用共享把利用率挤出来(20-50%),再用 spot/承诺砍单价;闲置卡直接谈折扣收益最小。
  • MIG 的硬件隔离和 time-slicing 的”无隔离”服务的是不同客户——多租户生产为 QoS 付钱,dev/test 吃 time-slicing 免费午餐,混用会被 noisy neighbor 教育。
  • 给中国 IT 运维/开发:国内 GPU 租赁/托管集群大量还是整卡计费,文中 DCGM 闲置检测(<10% 持续 15 分钟告警)+ Karpenter 收拢这套组合当天就能上,利用率曲线抬多少都是纯利。
  • 参考来源

  • nOps Blog: GPU Sharing & Automation: Cut AI Infrastructure Costs in 2026(2026-07-22)
  • 文中引用:ScaleOps 2026 Kubernetes cost optimization analysis
  • 您可能还喜欢...

    发表回复

    您的邮箱地址不会被公开。 必填项已用 * 标注