Reddit · Similar_Can_3143 / reddit ·
实测:128GB 内存 + 约 60GB 显存跑 dsv4-flash-0731 q4+ 量化的三组实验
为什么值得读: 命中推理部署,量化 + 具体硬件环境的真实数据,对自建推理栈很有参考价值。
AI 摘要
LocalLLaMA 用户分享在较弱 PCIe 环境下运行 DeepSeek V4 Flash 量化模型的实测:三组配置的吞吐(tgs)与首 token(pp)速度对比。
相关事件与更多上下文见编辑部与归档页。