Reddit · mmkaywhatevers / reddit ·
Qwen3.8-27B 在 24GB RTX PRO 4000 上:128K 真实上下文、785 tok/s prefill、67 tok/s MTP3 解码
为什么值得读: 单卡部署大模型的实测数据,对本地推理部署与硬件选型极有参考价值。
AI 摘要
实测在单张 24GB 显卡运行 Qwen3.8-27B,实现 128K 上下文与 MTP3 解码,分享内存与吞吐数据。
相关事件与更多上下文见编辑部与归档页。