蚂蚁开源 Humming:量化推理内核库实测,vLLM 端到端吞吐最高提升 43%
蚂蚁与vLLM社区开源量化内核库Humming:端到端吞吐最高提升43%,单内核编译从23秒降到2秒内,覆盖Turing起NVIDIA GPU与真武810E。
蚂蚁与vLLM社区开源量化内核库Humming:端到端吞吐最高提升43%,单内核编译从23秒降到2秒内,覆盖Turing起NVIDIA GPU与真武810E。
六层两轨一张图讲清2026年AI Agent架构:MCP、记忆、评测各自管什么,以及你什么时候其实不需要它。
K8s 1.37「Garhwal」:67项增强,HPA缩容到零升Beta且默认开启,DRA扩展资源支持GA——空闲GPU可真正下线。
150亿访客、1.3万亿事件:Sprig用ScyllaDB换掉Postgres+ClickHouse+Redis三件套,读延迟快4-8倍,均值500微秒。
pyperformance实测:3.15平均快1.45倍,编码场景冲到56倍,异步约1.1倍,Base16与正则反而变慢——升级收益看负载。
生产 K8s GPU 利用率常年 0-10%:sharing+spot+承诺折扣三层叠加,示例账单 $10,000/月 压到 $2,400。
GKEmicroVM转GA:Kata+CloudHypervisor,每Pod独立内核、点名无监督AIAgent;开销250mCPU+130MiB/Pod。
Valkey 9.1 全景:单机 210 万 RPS,IO 线程最高 +17%,小字符串开销省 44%,五线齐发补丁,AWS 便宜 20%、Google默认它。
TNS 上的 ClickHouse 工程文:退款跑到一半 Agent 崩了,接替者凭什么不重复退款——持久操作记录、工具边界、恢复协议,一个都不能少。
两家引擎底层同为 llama.cpp 与 MLX,差别在许可证、GPU 名单和默认网络行为——外加 193 美元二手 P5000 能点亮、16GB 显存怎么算。