Reddit · mmkaywhatevers / reddit ·

Qwen3.8-27B 在 24GB RTX PRO 4000 上:128K 真实上下文、785 tok/s prefill、67 tok/s MTP3 解码

为什么值得读: 单卡部署大模型的实测数据,对本地推理部署与硬件选型极有参考价值。

AI 摘要

实测在单张 24GB 显卡运行 Qwen3.8-27B,实现 128K 上下文与 MTP3 解码,分享内存与吞吐数据。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。