Reddit · Suitable_Currency440 / reddit ·

如何在 10GB 以下显存跑 Bonsai-Ternary-27B 的 120K 上下文

为什么值得读: 推理部署直接命中兴趣,长上下文 + 低显存优化的实操方案,对本地模型部署实践有直接指导意义。

AI 摘要

社区用户分享将 PrismML Bonsai 27B 三元量化模型在 10GB 以下显存上运行 120K 长上下文的优化技巧。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。