Reddit · whodoneit1 / reddit ·

NVFP4 量化 Qwen3.8 27B 在 AMD R9700 上:预填充 5809 tok/s,解码 276 tok/s

为什么值得读: 量化 + 推理性能实测,含明确吞吐指标与优化路径,属推理部署重点关注内容。

AI 摘要

作者利用自研 MXFP4 快速路径,让 NVFP4 量化的 Qwen3.8 27B 在 AMD R9700 上跑到 5809 tok/s 预填充与 276 tok/s 解码。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。