论文4 min read
24GB 内存跑 35B MoE：一篇论文的启发
arXiv 上一篇挺有意思的工作（编号 2609.18063）：在 24GB 内存的机器上跑 35B 参数的 MoE 模型，速度约 20 token/s。
做法不复杂，思路值得记
- 用一个「预路由器」提前一个 token 预测接下来会激活哪些专家；
- 从 SSD 预取这些专家的权重，而不是等用到再加载；
- 模型本体 4bit 量化后约 19.5GB，峰值活跃内存只有约 3GiB。
本质上是把 MoE 的稀疏性用到了极限：大部分专家权重放在硬盘上，内存里只留马上要用的那一部分。
对我自己的启发
做本地部署的人经常纠结「显存/内存不够」，这篇的答案是把瓶颈从内存挪到了存储带宽上。如果硬盘够快（现在 NVMe 也不贵），一些「跑不动」的模型也许能变成「慢但能跑」。
20 token/s 谈不上流畅，但做批处理、离线任务已经够用了。期待它被整合进常见的本地推理工具里。
论文编号与数据来自 arXiv 摘要页；细节与复现条件以原文为准。