AirLLM 实战：70B 大模型在 4GB 消费卡上跑起来，22K stars 的开源神器
AirLLM（lyogavin/airllm，22K stars，Apache 2.0）通过单层流式加载，让 Kimi K3（2.8 万亿参数！）也能在 4GB 消费级 GPU 上跑。支持训练（Qwen3.8-Flash-Next 125B 在 6GB VRAM 微调）。本文详解核心机制 + 6 个消费卡可跑模型 + vs llama.cpp 取舍。
分类： AI专栏
Speculative Decoding 深度解析：小模型猜 + 大模型验，零损失 3× 加速
Speculative Decoding 是 2026 年 LLM 推理服务的核心加速技术：用小模型先猜 4 个 token，大模型一次并行验证，接受率 ~50% 时单步生成 3 个 token，输出质量零损失（数学证明等价于原始大模型采样）。和 PagedAttention 叠加可让 Llama 70B 服务吞吐提升 8-14×。
PagedAttention 深度解析：vLLM 连续批处理与显存分页的工程奇迹
vLLM 凭什么一张 24GB 显卡顶住 30+ 路并发？靠 PagedAttention 把 OS 虚拟内存思想搬进 GPU，KV cache 从连续大块变可分散小块；连续批处理把 GPU 利用率从 30% 拉到 80%+。本文扒 vLLM 官方博客 + SOSP 论文讲清双引擎原理 + 实测性能。
LLM 量化技术速览：从 INT4 到 NVFP4，你的模型到底瘦了几圈
70B 模型从 BF16 的 140GB 一路压到 INT4 的 35GB，2026 年的 LLM 量化已让消费硬件跑得起千亿参数。本篇横向对比 GGUF、GPTQ、AWQ、NVFP4 四大路径，给出聊天/代码/长文档/企业部署四种场景的选型建议，看懂「量化不是免费午餐」这件事。
2026 主流 LLM 推理引擎横评：vLLM / llama.cpp / TensorRT-LLM / NInfer 怎么选
2026 推理引擎百花齐放，vLLM / llama.cpp / TensorRT-LLM / NInfer 各自站位不同。本篇用同一台 4×H100 + Llama-3.3 70B FP8 把四条赛道横向对比：吞吐、TTFT、上下文、硬件覆盖、部署难度、冷启动，再给出四个具体场景的选型建议，10 分钟内帮你挑到合适的引擎。
llama.cpp 2026 深度：从 CPU 跑到消费 GPU，开源推理框架的进化与边界
llama.cpp 三年时间从一台 MacBook 跑到全球 109k Star，GGUF 量化把 70B 模型塞进 16GB 显存，v0.4.1 把多 GPU 张量并行正式拉到生产环境。这篇把核心定位、量化家族、硬件适配、2026 路线图和实操建议一次性讲透。
NInfer-V100-Duo 体验记：NVFP4 让老卡跑出 150 t/s 的秘密
NInfer-V100-Duo 是 plus1998 在 GitHub 上开源的 C++/CUDA 推理框架，专为 2×V100-SXM2 优化。它用 NVFP4 量化、MTP 推测解码、TP2 张量并行，在双 V100 上把 Qwen3.8-27B 跑出平均 151 tok/s、5 秒峰值 183 tok/s，比同卡 llama.cpp 快 2-3 倍。本文记录 1Panel 容器化部署、MTP3/4/5 性能对比、TP2 NVLink 通信原理，以及 NInfer 与 llama.cpp 的场景取舍与上手建议。
Strata 推理引擎横空出世：1250 亿参数 MoE 模型在消费 PC 上跑起来了
Niko Veit 在 GitHub 开源 Strata 推理引擎，让 1250 亿参数 MoE 模型 Qwen3.8-Flash-Next 在消费级 PC 跑起来——技术拆解、开发者意义与硬件民主化临界点深度解读。
AI专栏开栏｜2026年10月热点：Gemini 4 发布、Claude Haiku 5.5 智能体与 AI 价格战
本专栏聚焦 AI 发展动态、AI 服务器部署与 GitHub 热点工具，采集全网...
