Reddit · wadeAlexC / reddit ·

在 32GB 显卡上跑满 Qwen3.8-27B-Q4 上下文且不做 KV cache 量化

为什么值得读: 直接命中推理部署实践,含可复现的显存与上下文配置细节,落地价值高。

AI 摘要

作者分享在 32GB GPU 上以量化权重跑满上下文窗口的配置技巧,通过调整 KV cache 分配与显存切分避免额外精度损失,并给出实测吞吐。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。