标签: AirLLM
AirLLM 实战:70B 大模型在 4GB 消费卡上跑起来,22K stars 的开源神器
AirLLM(lyogavin/airllm,22K stars,Apache 2.0)通过单层流式加载,让 Kimi K3(2.8 万亿参数!)也能在 4GB 消费级 GPU 上跑。支持训练(Qwen3.8-Flash-Next 125B 在 6GB VRAM 微调)。本文详解核心机制 + 6 个消费卡可跑模型 + vs llama.cpp 取舍。
AirLLM(lyogavin/airllm,22K stars,Apache 2.0)通过单层流式加载,让 Kimi K3(2.8 万亿参数!)也能在 4GB 消费级 GPU 上跑。支持训练(Qwen3.8-Flash-Next 125B 在 6GB VRAM 微调)。本文详解核心机制 + 6 个消费卡可跑模型 + vs llama.cpp 取舍。