AI 模型
开源项目 Strata:Qwen3.8-Flash-Next 可跑在 12GB 显存消费级显卡上
据 GitHub 仓库 Niko1221/Strata(MIT),该项目让 Qwen3.8-Flash-Next 在普通 PC 上本地推理:最低 12GB 显存(NVIDIA RTX 20/30/40/50 系或 AMD 对应型号),一键安装支持 Windows/Linux,可在 localhost 暴露 OpenAI/Anthropic 兼容 API,Claude Code 可经 ANTHROPIC_BASE_URL 直连。仓库自报基准:RTX 5070(Q2_0 量化)解码约 94 tokens/s,另列 Coder 变体与 IQ2_XS 等低比特档。模型规模 125B(MoE)为 Hacker News 标题口径;全部性能数字为项目自报,无独立复测。
对 AI 使用者意味着什么
本地大模型在补“最后一公里”:125B 级模型被量化到 12GB 游戏卡上可跑,开源权重 + 本地推理这条路成熟得比预期快;但换质量换速度是明账。
来源:GitHub(Niko1221/Strata) ↗ 原文链接、Hacker News 讨论 ↗ 原文链接
有具体工作流问题?联系咨询。新闻本身免费阅读。