2026 主流 LLM 推理引擎横评：vLLM / llama.cpp / TensorRT-LLM / NInfer 怎么选
2026 推理引擎百花齐放，vLLM / llama.cpp / TensorRT-LLM / NInfer 各自站位不同。本篇用同一台 4×H100 + Llama-3.3 70B FP8 把四条赛道横向对比：吞吐、TTFT、上下文、硬件覆盖、部署难度、冷启动，再给出四个具体场景的选型建议，10 分钟内帮你挑到合适的引擎。
标签： llama.cpp
llama.cpp 2026 深度：从 CPU 跑到消费 GPU，开源推理框架的进化与边界
llama.cpp 三年时间从一台 MacBook 跑到全球 109k Star，GGUF 量化把 70B 模型塞进 16GB 显存，v0.4.1 把多 GPU 张量并行正式拉到生产环境。这篇把核心定位、量化家族、硬件适配、2026 路线图和实操建议一次性讲透。
