Reddit · wadeAlexC / reddit ·
在 32GB 显卡上跑满 Qwen3.8-27B-Q4 上下文且不做 KV cache 量化
为什么值得读: 直接命中推理部署实践,含可复现的显存与上下文配置细节,落地价值高。
AI 摘要
作者分享在 32GB GPU 上以量化权重跑满上下文窗口的配置技巧,通过调整 KV cache 分配与显存切分避免额外精度损失,并给出实测吞吐。
相关事件与更多上下文见编辑部与归档页。