Reddit · bodhi371 / reddit ·

Qwen3.8-Flash-Next-GSQ-RCO(IQ3_S 量化):12GB 显存 + 32GB 内存 + NVMe,131k 上下文下解码 40-50 tok/s、预填充 1300-1500 tok/s

为什么值得读: 量化方案加完整硬件配置的实测吞吐,是本地推理部署可直接复用的参考基准。

AI 摘要

用户给出 Qwen3.8-Flash-Next 在 IQ3_S 量化下的本地实测数据:消费级 12GB 显存环境下达到 40-50 tok/s 解码与 1300-1500 tok/s 预填充,上下文支持 131k。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。