Reddit · indrasmirror / reddit ·
Xolotl(基于 Strata):552B 的 DeepSeek-V4.1-Flash 在单张 4090 上约 27 tok/s
为什么值得读: 大模型单卡推理与量化工程的重要实践,参数规模与吞吐数据具体,对低成本部署路线有直接参考价值。
AI 摘要
作者基于 Strata 方案让 552B 参数的 DeepSeek-V4.1-Flash 在单张 RTX 4090 上以约 27 tok/s 推理,并预告几天内放出 1017 版无审查量化权重。
相关事件与更多上下文见编辑部与归档页。