跑动 Mistral Large 4 本地要 635GB 内存：512GB Mac Studio 是唯一的单盒答案
Mistral 在 10 月 6 日开启了 Mistral Large 4 的预览，10 月 31 日（HF 仓库标注的 ETA）开源权重落地。跑本地模型的人最关心的问题只有一个：这玩意儿在家跑得动吗？发布潮文大多复述一遍参数量就停了，这篇指南（原文 10 月 10 日发表，比权重落地早三周）把内存题、带宽题、买哪台题全部算完，每条估算都给出算式。
先看结论：10 月 10 日确认了什么
| 项目 | 数值 | 来源/状态 |
|---|---|---|
| 总参数 | ~1T（1.05T） | 官方发布文说 1T，官方文档写 1.05T |
| 激活参数 | 每 token 49B（含嵌入和输出层为 52B） | Hugging Face 模型卡，两个数都对 |
| 模态 | 原生多模态，1.6B 视觉编码器 | 官方文档 |
| 上下文 | 1M tokens | 官方文档 |
| 开源权重 | 预计 2026-10-31（HF 仓库 mistralai/Mistral-Large-4-1T-A52B） | 日期是 ETA |
| 专家数/路由、发布精度、许可证 | 未知 | Large 3 是 Apache 2.0，供参考 |
两个容易混的数字：模型卡写”每 token 49B 激活（含嵌入与输出层 52B）”。硬件规划按 52B 算——嵌入和输出头每个 token 也要读，一样占内存带宽。
训练侧一个值得留意的点：官方说 ML4 在自有数据中心的 3,800 块 NVIDIA Grace Blackwell 上从零训练，并把”私有云或本地部署”当卖点——欧洲和受监管行业关心这篇下面的容量计算，就是这个原因。
要多少内存：4-bit 就要 635GB
MoE 的总参数量决定内存——每个专家都必须驻留，路由器才有得选；每 token 只有 52B 激活，但全部 ~1.05T 都得躺在统一内存/显存/系统内存里。算式：
> 权重大小（GB）≈ 总参数（十亿）× 每权重位数 ÷ 8
| 量化档 | 有效位数 | 估算权重 | 什么东西装得下 |
|---|---|---|---|
| FP8 | 8.0 | ~1,050 GB | 8× H200/B200 级服务器 |
| Q6_K | ~6.6 | ~860 GB | 多 GPU 服务器 + 大内存池 |
| Q4_K_M | ~4.8 | ~635 GB | 2× 512GB Mac Studio，或 GPU + 768GB 内存 |
| Q3_K_M | ~3.9 | ~510 GB | GPU + 512-768GB 内存（单台 512GB Mac 太挤） |
| Q2_K | ~2.7-3.0 | ~350-390 GB | 512GB Mac Studio、GPU + 384GB 内存、4 节点集群 |
| ~1.8-bit 动态 | ~1.8-2.1 | ~240-280 GB | 512GB Mac Studio（宽松）、4× 128GB 集群 |
注意这些都是估算，不是文件尺寸——真实的 GGUF 会保留部分张量（注意力、路由器、嵌入、视觉编码器）在更高精度。1.8-bit 一档假设有人像之前 700B+ MoE 发布那样跟进”动态”低比特量化，大概率但不保证首发就有。
权重之外还要给 KV 缓存留空间：Mistral 没公布注意力配置，没法精确算，规划时至少留 10-15% 余量（32K 级上下文），想真用 1M 窗口就要留得多得多。
跑多快：52B 激活才是速度天花板
容量决定能不能跑，带宽决定跑多快。生成阶段每输出一个 token，都要把激活权重从内存完整读一遍，硬上限是：
> 最大 tok/s ≈ 内存带宽（GB/s）÷ 每 token 读取字节数（GB）
Q4 档（~4.8 bits/权重）下 52B 激活 = 每 token 约 31 GB 读取，于是：
| 内存系统 | 带宽 | Q4 上限 | Q2 上限（~18 GB/token） |
|---|---|---|---|
| Mac Studio M5 Ultra | 1.2 TB/s | ≤ ~38 tok/s | ≤ ~65 tok/s |
| 12 通道 DDR5 服务器 | ~460-615 GB/s | ≤ ~15-20 tok/s | ≤ ~25-34 tok/s |
| 双通道桌面 DDR5 | ~80-100 GB/s | ≤ ~3 tok/s | ≤ ~5 tok/s |
这是上限不是实测——加上计算开销、KV 读取、跨设备跳转和 prompt 处理后，真实速度通常明显更低；权重还没公开，谁都还没测过。
发布潮漏掉的关键对比是 Mistral Large 4 对 Kimi K2.6：同为 ~1T 总参的 MoE，内存足迹几乎一样（Kimi 的 Q4_K_M ~634GB），但 Kimi 每 token 激活 ~32B，ML4 激活 52B——每 token 多读约 1.6 倍的字节。同机器同量化，ML4 预计比 Kimi K2.6 慢 35-40%。已经组好 Kimi 机器的，装得下 ML4，但跑不到原来的速度。
路线一：512GB Mac Studio——唯一能零售买到的单盒
按估算，这台机器上：1.8-bit 动态档宽松装下、Q2_K 装得下且 KV 余量够用；Q3_K_M 装不下（macOS 要占一部分统一内存，GPU 默认不能全部 wire）；Q4 一台装不下，Q4 的答案是两台 512GB 用雷雳 5 互联做 MLX 分布式/exo 分片——对 ML4 未经测试，且每个 token 都要过雷雳链路，比单盒慢。
价格：M5 Ultra 起价 $5,499，512GB 顶配 Apple 还没公布，Macworld 报道”满配十月才开卖、要 well over 20 grand（两万多刀）”。512GB 的货和 ML4 权重同月到货，缺货预期要有。顺带：$2,499 起的 M5 Max（顶 128GB）是好机器，但任何量化档都装不下 ML4。
路线二：大 GPU + 大内存（llama.cpp 专家卸载）
r/LocalLLaMA 社区的路子，也是已有高显存 NVIDIA 卡用户的最优解。利用 MoE 结构：注意力、共享权重、路由器每 token 都跑，留在 GPU 上吃速度；几百 GB 的专家权重偶尔才激活，停进系统内存：
llama-server -m Mistral-Large-4-Q2_K.gguf \
-ngl 999 --n-cpu-moe 999 \
-c 32768 --threads 32llama.cpp 内置 --cpu-moe（全部专家权重留 CPU 内存）、--n-cpu-moe N（前 N 层专家留 CPU）和 -ot 正则摆放。
| 部件 | 建议 | 价格区间 |
|---|---|---|
| GPU | RTX 5090（32GB GDDR7）；二手 RTX 3090 也行，余量更小 | $1,999-2,199 / $699-999 |
| 平台 | 钱的大头：桌面板撑不住，要 8-12 内存通道的工作站/服务器平台 | — |
| 内存 | Q2 要 384GB+，Q4 要 768GB | 通道数与容量同等重要 |
| 存储 | 快 NVMe（如三星 990 Pro 4TB） | $289-339 |
两个提醒：DRAM 行情仍高企，768GB 服务器 DDR5 可能比卡还贵；NVIDIA IFA 宣布 llama.cpp 在 5090 上内核优化提速最高 1.9 倍——供应商数据、不是 ML4 实测，卸载配置里瓶颈通常驻 RAM 的专家，这部分红利吃不满。
路线三：组集群（4× DGX Spark 或 4× Strix Halo）
四台 128GB 凑出 512GB 池化内存，约等于顶配 Mac Studio，分片后 1.8-bit 档带余量装下、Q2_K 挤一挤能装。
- – DGX Spark（每台 $4,699-7,999）：128GB 一致性内存、CUDA 原生、vLLM 支持。NVIDIA 说”双 Spark 集群 vLLM 提速最高 1.4 倍”——两节点的厂商数字，这个尺寸的模型 4 节点缩放未经证明。
- – GMKtec EVO-X2（Ryzen AI Max+ 395，每台 $2,199-3,649）：走 llama.cpp RPC 后端过以太网，四台的价格只要 Spark 的一个零头，互联更弱、折腾更多。
瓶颈要坦白：网络。盒内内存几百 GB/s，盒间慢一个数量级，分片模型每个 token 都交这笔税。集群适合已经有一两台、想够到 ML4 的人，从零开始组集群很少是最便宜的路线。
一个容易被误读的点，说清楚：NVIDIA 同期宣布的 PAIR 工具是把独立推理请求在本地网络的兼容 PC 之间负载均衡，不是把一个模型拆到多台——帮不了你装下 ML4。
路线四：企业本地部署，8 GPU 服务器档
多用户跑全质量——Mistral 官方推销私有云/本地部署的目标客户——就是数据中心领域了：
- – FP8（~1,050GB）：需要 8× H200/B200 级 GPU——8 块 80GB 卡封顶只有 640GB，装不下 FP8，要多算并行余量。
- – Q4 档 + 真实并发：Supermicro SYS-421GE-TNRT（准系统 $8,000-15,000，最高 10 张双宽 GPU、8TB DDR5）插满 10 块 H100 PCIe 80GB（$25,000-33,000/块），一台机器凑 800GB 显存；这台机器的大 DDR5 也适合低配 GPU 数量的混合卸载方案。
网络电源之外，这是六位数美元起步的部署。
诚实的岔口：API + 中小模型的混合方案
大多数读到这篇的人其实跑不动 ML4，没关系，最实用的形态是混合：
- – 少数尖峰任务走 API：官方文档标价 $1.36/百万输入、$4.18/百万输出 tokens（查证时正有发布期 5 折：$0.68 / $2.09）——每天几十个难 prompt 的月开销，不到一根服务器内存条的钱。
- – 日常主力本地跑 Qwen3.8-27B：Q4 约 17GB，单张 5090 或二手 3090 很舒服；预算入门是 16GB 的 RTX 5060 Ti（$429-479），跑小量化档和短上下文。
- – 想要安静盒子：128GB 的 Strix Halo 迷你机或 Mac Studio M5 Max 舒服跑 70-120B 级。
- – 只想试试 Mistral 系：最小的 Mistral 7B 几乎什么硬件都跑。
三个 1T 级选手横向对比
| 模型 | 总/激活参数 | Q4 足迹 | 最小实用量化 | 最便宜能跑的机器 |
|---|---|---|---|---|
| Mistral Large 4 | ~1.05T / 52B | ~635 GB（估） | ~240-280 GB（估） | 512GB Mac Studio 或 GPU+384GB 内存服务器 |
| Kimi K2.6 | 1.04T / ~32B | ~634 GB | ~350 GB（UD-Q2_K_XL） | 4× RTX 3090 + 256GB 内存 |
| GLM-5.2 | 743B / ~39B | ~450 GB（估） | ~239 GB（2-bit 动态） | 256GB 级 Mac Studio 或 4× 3090 + 192GB 内存 |
- – ML4 内存需求和 Kimi 相当，但按带宽算速度更慢（52B vs ~32B 激活）。
- – GLM-5.2 是三者里最容易本地跑的，唯一一个能塞进 256GB 机器。
- – ML4 是三者里唯一原生多模态——要在本地跑图像输入的，只有它。
速判
| 你是…… | 最佳选择 | 原因 |
|---|---|---|
| 想放书桌上的 Mac 用户 | Mac Studio M5 Ultra 512GB | 唯一单盒；1.2TB/s 是单节点最高上限 |
| 有 5090/3090 的 CUDA homelab | 8-12 通道平台上做专家卸载 | 复用已有卡；内存容量才是真成本 |
| 已有一两台 Spark/Strix Halo | 扩到 4 节点集群 | 榨干现有硬件；受网络所限 |
| 需要本地多用户的企业 | Supermicro + 数据中心 GPU | 唯一能带并发跑 FP8/Q4 的路 |
| 其他所有人 | ML4 API + 单卡跑 Qwen3.8-27B | 花小钱拿九成价值 |
权重发布之前，页面上这些算式就是最好的规划工具：内存用 总参数×位数÷8，速度用 带宽÷每token字节。
小夏点评
- 1. 这篇的方法论比结论值钱——两条算式（参数量×位数÷8 定容量、带宽÷每 token 字节定速度）让你在权重发布前就能拍板机器；而且作者把”已确认/未知/估算”三栏分开、反复声明未实测，这种诚实度在发布潮内容里罕见，可以直接当选型模板复用。
- 2. 52B vs 32B 的速度不等式值得记住——同为 1T 级 MoE、内存足迹几乎相同，激活参数多 60% 就慢 35-40%。MoE 的”总参吃容量、激活参吃速度”双资源模型适用于一切本地部署，选型时这两笔账要分开算。
- 3. 对中国 IT 运维/开发者的启示：大 GPU + 大内存的专家卸载路线是现有环境里最可复制的——热路径上卡、专家驻 DDR5，国内存量 x86 服务器天然适配；但成本重心在 8-12 内存通道的平台与 DRAM 行情，采购时先数内存通道数、再算卡数，顺序别反。而对大多数团队，”前沿模型走 API + 本地跑 27B 级”的混合架构才是能落地的形态，成本结构也最健康。
参考链接
- – 原文：https://www.compute-market.com/blog/mistral-large-4-local-hardware-guide-2026
