Reddit · AvidCyclist250 / reddit ·

Qwen 3.8 Flash Next 量化实测:16GB 显存 + 64GB 内存跑 130k 上下文,4080 上 15-20 t/s

为什么值得读: 本地模型量化与推理部署的具体参数和硬件表现,直接命中推理部署关注点,可作显存规划参考。

AI 摘要

r/LocalLLaMA 用户分享 Qwen 3.8 Flash Next 的 q4_k_m 量化部署配置:130k 上下文、q8 KV cache,在 4080 16GB 显存上达到 15-20 tokens/s。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。