Reddit · Chekhovs_Shotgun / reddit ·

在 12GB RTX 3060 + 64GB DDR5 上跑 85GB 的 DeepSeek-V4-Flash,约 3 tok/s——受 Colibri 启发的 FreeToken 溢出方案

为什么值得读: 极限条件下的大模型本地推理部署实践,技术细节扎实。

AI 摘要

作者分享在显存仅 12GB 的 RTX 3060 上借助内存溢出方式运行 85GB DeepSeek-V4-Flash 的实测,速度约 3 tok/s。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。