Reddit · FantasticNature7590 / reddit ·

我花 3 周在新版低延迟 SGLang/vLLM 配方上实测本地 Qwen3.8:DFlash2 提速 2.8 倍

为什么值得读: 直接命中推理部署与量化实践,含具体框架、量化格式与实测加速比,可复现性和工程价值高,是用户重点关注方向。

AI 摘要

作者用三周时间在最新低延迟 SGLang/vLLM 推理配方上实测本地 Qwen3.8,记录了 DFlash2 带来约 2.8 倍加速,并对比 RadixArk、Inferact 27B NVFP4、27B BF16、Uncensored 及 Flash-Next NVFP4 等多个量化与框架组合。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。