Reddit · fuzhongkai / reddit ·
DeepSeek V4.1 Flash 跑在 8 张 A40 上:TensorSharp 下 Q2_K 约 40 tok/s、Q4_K_M 约 32 tok/s
为什么值得读: 同时命中模型发布与推理部署:有具体硬件、量化档位与吞吐数据,可直接用于私有化部署的容量与精度权衡参考。
AI 摘要
用户分享使用 TensorSharp 在 8×A40 集群上部署 DeepSeek V4.1 Flash 的实测吞吐:Q2_K 量化约 40 tok/s,Q4_K_M 约 32 tok/s。
相关事件与更多上下文见编辑部与归档页。