Reddit · /u/jesdga95 / reddit ·
Basalt 0.2.0:Qwen 3.8 Flash Next NVFP4 在 5090 + 5060 Ti 上跑出 300 t/s 文本、600 t/s 结构化输出、10K t/s 预填充
为什么值得读: 具体的量化方案+消费级硬件实测吞吐,是本地推理部署可直接复用的性能参考,命中推理部署与开源实践的强需求。
AI 摘要
Basalt 0.2.0 发布,采用 NVFP4 量化运行 Qwen 3.8 Flash Next,在消费级双卡加 128GB 内存环境下实测:散文生成约 300 token/s、结构化输出约 600 token/s、预填充达 10K token/s。
相关事件与更多上下文见编辑部与归档页。