推理框架近况速读：vLLM 0.31、SGLang 0.5.21、FlashInfer 0.7.1

2026-10-09 · 小陈

最近两周推理侧的开源项目更新比较密集，简单过一遍我觉得有用的点。

版本一览

• vLLM 0.31.0（10 月 5 日）：正式版发布；
• SGLang 0.5.21（10 月 2 日）：新增/扩展了 DeepSeek-V4.1 Flash、MiMo、Qwen-Image 2.1 等模型的支持路径，前缀缓存核心换成了 Rust 实现；
• FlashInfer 0.7.1（10 月 9 日）：量化 MoE 与线性 Attention 的新 kernel 路径进入正式版；
• 顺带还有 ComfyUI 0.40.0（10 月 13 日）、Transformers 5.19（10 月 6 日）等。

为什么值得关注「量化 MoE」

这些框架更新的核心其实是一件事：把稀疏 MoE 模型塞进更小的显存里，同时尽量不掉速度。比如 W4A16（权重 4bit、激活 16bit）这类方案，配合专家并行——把不同专家分到多张卡上——让单机跑大 MoE 慢慢从「勉强能跑」变成「可以部署」。

另外就是缓存：前缀缓存、KV 缓存的存储与淘汰策略一直在优化，长上下文场景的成本在肉眼可见地往下走。

给普通玩家的建议

如果你只是在本机玩玩，这些底层更新多数会通过发行版、图形化封装慢慢传导过来，不必追版本；如果是自建推理服务，那先看框架对目标模型的支持矩阵，再决定升不升。

一句话：底层很卷，这是好事。

版本日期与内容来自各项目官方发布记录，具体以官方 changelog 为准。

← 返回首页