Modular MAX 推理性能超越 vLLM 5.5 倍：Kimi K2.5 基准测试深度解析
Modular 在 MLSys 2026 大会上公布其 MAX 推理栈在 Nvidia B200 GPU 上运行 Kimi-K2.5 模型时，P50 首个 token 生成时间比 vLLM 快 5.5 倍。推理成本已超越训练成本成为企业关注焦点，Modular 试图用统一编译器栈打破硬件厂商锁定。
标签： 推理引擎
2026 主流 LLM 推理引擎横评：vLLM / llama.cpp / TensorRT-LLM / NInfer 怎么选
2026 推理引擎百花齐放，vLLM / llama.cpp / TensorRT-LLM / NInfer 各自站位不同。本篇用同一台 4×H100 + Llama-3.3 70B FP8 把四条赛道横向对比：吞吐、TTFT、上下文、硬件覆盖、部署难度、冷启动，再给出四个具体场景的选型建议，10 分钟内帮你挑到合适的引擎。
NInfer-V100-Duo 体验记：NVFP4 让老卡跑出 150 t/s 的秘密
NInfer-V100-Duo 是 plus1998 在 GitHub 上开源的 C++/CUDA 推理框架，专为 2×V100-SXM2 优化。它用 NVFP4 量化、MTP 推测解码、TP2 张量并行，在双 V100 上把 Qwen3.8-27B 跑出平均 151 tok/s、5 秒峰值 183 tok/s，比同卡 llama.cpp 快 2-3 倍。本文记录 1Panel 容器化部署、MTP3/4/5 性能对比、TP2 NVLink 通信原理，以及 NInfer 与 llama.cpp 的场景取舍与上手建议。
Strata 推理引擎横空出世：1250 亿参数 MoE 模型在消费 PC 上跑起来了
Niko Veit 在 GitHub 开源 Strata 推理引擎，让 1250 亿参数 MoE 模型 Qwen3.8-Flash-Next 在消费级 PC 跑起来——技术拆解、开发者意义与硬件民主化临界点深度解读。
