AI 基础设施
Cerebras 公开万亿参数模型怎么切到 59 片晶圆：权重不动，只传激活值
Cerebras 10 月 22 日技术博客以 Kimi K3（约 3 万亿参数、93 层 = 69 层线性注意力 + 24 层全注意力）为例算了一遍部署：4bit 量化后权重 1.5TB，单层约 16GB，能塞进单片 WSE-3T 的 44GB 片上 SRAM；线性注意力每片放 2 层，全注意力（dense）每片只放 1 层，因为要给每个在飞请求留 KV cache，合计 59 片。层与层之间只传激活值，走 RDMA over Ethernet，约 2 微秒一跳。按 256k 平均请求长度、8bit KV cache 假设，Cerebras 称吞吐可达 1000–2000+ tokens/s；真正卡住并发数的是 dense 层晶圆上剩下的 28GB KV cache 空间。
对 AI 使用者意味着什么
叙事从「堆更多 GPU」转向「换内存层级与互联拓扑」：用片上 SRAM 换掉 HBM 搬运，代价是模型必须按层切得刚好。文里给的效率判据是同生成速度下的每兆瓦 token 吞吐，比 batch size 有意义。
有具体工作流问题？联系咨询。新闻本身免费阅读。