Reddit · CharlesStross / reddit ·

Qwen3.6 35B-A3B 在 RTX Pro 6000 上用 Ninfer 单请求跑到 600 tok/s

为什么值得读: 直接命中本地推理部署与性能优化,含具体硬件、推理框架与实测数值,可复用性高。

AI 摘要

r/LocalLLaMA 用户实测:Qwen3.6 35B-A3B 借助 Ninfer 推理栈,在单张 RTX Pro 6000 上单请求吞吐约 600 tok/s。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。