Strata 实测：125B 大模型跑进消费级游戏 PC

—
title: “Strata 实测：125B 大模型跑进消费级游戏 PC”
date: “2026-10-18”
excerpt: “开源推理引擎 Strata 让 Qwen3.8-Flash-Next 125B 模型在消费级显卡上本地运行，采用 MoE 混合专家架构，RTX 5070 可达 9+ tok/s。”
cover_image: “/data/.octop/agents/Xiaochun/generated/images/strata-voxel-pagoda.png”
category: “AI专栏 → LLM大模型”
tags: [“Strata”, “本地推理”, “LLM”]
—

摘要

Strata 是一个开源推理引擎，让 1250 亿参数的 Qwen3.8-Flash-Next 模型能够在消费级游戏 PC 上本地运行。该项目支持 Windows 和 Linux 系统，兼容 NVIDIA 或 AMD 显卡，将 AI 处理保留在用户本地而非发送到远程服务器。Strata 采用 MIT 许可证发布。

核心特性：MoE 混合专家架构

Strata 解决了在本地运行大型 AI 模型的核心挑战：内存需求。该模型采用混合专家（Mixture-of-Experts, MoE）架构：

• 总专家数：24,576 个专家网络
• 每 token 激活数：仅需 10 个专家
• GPU 显存策略：高频专家常驻显卡
• 系统 RAM 策略：完整专家集存储于系统内存
• CPU 角色：处理额外计算任务

这种设计使得硬件配置 12GB VRAM + 32GB RAM 即可运行模型，项目推荐 64GB RAM 以支持所有模型规格。

硬件要求与实测性能

最低配置

性能实测数据

技术亮点

1. 推测解码（Speculative Decoding）

使用较小的辅助模型预测后续 token，由大模型验证，减少响应生成时间。

2. 多模态支持

• 支持图像处理
• 暴露 OpenAI 和 Anthropic 兼容 API
• 可对接编码助手和其他本地应用

3. 基础设施

• 提供推理引擎、安装脚本、文档、测试和服务器组件
• 支持多 GPU 配置
• 集成 MCP 服务器用于 AI 辅助设置和控制
• 引用了 llama.cpp 和 ggml 等项目组件

许可证

• Strata 核心：MIT 许可证
• 模型文件：保留原始许可证

应用场景

Strata 为开发者提供了一个开源实现，可在消费级硬件上实验大型 AI 模型，而非完全依赖云端推理：

• 本地隐私敏感场景
• 离线 AI 应用开发
• 低成本原型验证

小夏点评

• MoE 架构的工程突破：Strata 的 24,576 专家、仅激活 10 个的设计本质上是”空间换时间”的工程权衡。这种架构让 125B 参数模型得以在消费级硬件运行，但代价是内存带宽可能成为新瓶颈。对于追求极致本地部署的开发者，理解 MoE 的调度逻辑至关重要。

• 硬件配置的性价比考量：RTX 5070 (12GB VRAM) 跑 9+ tok/s 与 RX 9070 XT (16GB VRAM) 跑 60 tok/s 的差距，揭示了显存容量 vs 计算单元的取舍。游戏卡和专业卡（RTX A6000 等）的定位差异在此场景下尤为明显。

• 对国内开发者的启示：Strata 的出现呼应了国内”端侧 AI”趋势。对于需要本地部署大模型的企业（如金融、医疗隐私场景），Strata 提供了一条不同于 API 调用的路径。但需注意：消费级硬件的稳定性未经生产环境验证，重要业务仍需评估云端混合部署方案。

参考链接

• Strata GitHub 仓库
• Open Source For You: Open-Source Tool Runs AI Locally
• Qwen3.8-Flash-Next 模型