AI 应用
Janas：在 32GB 笔记本上用 NVMe 流式读专家权重，跑 48GB 的 Qwen3-Next-80B
据 GitHub 仓库 prabanta-dev/janas（作者 Maurizio Cammalleri，GPL-3.0，实验阶段），这是纯 C 的 MoE 推理工具，把专家权重放磁盘、按 token 所需从 NVMe 流式读取，让 48.4GB 的 Qwen3-Next-80B 跑在 32GB DDR5 笔记本上。仓库自述基准：Qwen3-Next-80B 读 prompt 62 tok/s、写 24 tok/s（不带投机解码；带 draft 时约 37 tok/s），对比 llama.cpp 的 16/2.8；在作者自选的 13 个 Q4_K_M 模型上全面领先。测机为 Intel Core Ultra 9 185H + 32GB DDR5 + NVMe。作者自述属单机、未经第三方复现，并明确警告稳定性未验证。
对 AI 使用者意味着什么
本地跑大模型的内存瓶颈被 MoE 稀疏 + 流式读盘绕开；但数据全部作者自述、单机、无第三方复现。
有具体工作流问题？联系咨询。新闻本身免费阅读。