Reddit · FantasticNature7590 / reddit ·
在官方 SGLang NVFP4 镜像上跑 Qwen3.8-Flash-Next:单张 RTX PRO 6000 上 254K 上下文首 token 从 35 秒降到 22 秒
为什么值得读: 具体的推理部署优化与长上下文性能数据,可复现、可参考,直接命中推理部署关注点,给高分。
AI 摘要
作者在官方 SGLang NVFP4 镜像上部署 Qwen3.8-Flash-Next,报告单张 RTX PRO 6000 下 254K 长上下文的首 token 时间由 35 秒降至 22 秒,并附 7 项测试。
相关事件与更多上下文见编辑部与归档页。