标签： 流式推理

AirLLM（lyogavin/airllm，22K stars，Apache 2.0）通过单层流式加载，让 Kimi K3（2.8 万亿参数！）也能在 4GB 消费级 GPU 上跑。支持训练（Qwen3.8-Flash-Next 125B 在 6GB VRAM 微调）。本文详解核心机制 + 6 个消费卡可跑模型 + vs llama.cpp 取舍。