Hacker News · xlayn / hacker_news ·

Qwen3.8-27B 多 token 预测头:Q4 头配 Q6 量化反而比纯 Q6 更快,f16 更慢因接受率

为什么值得读: 非常具体的推理部署调优数据,对本地量化与投机解码实践有直接参考价值,属于细分但硬核的干货。

AI 摘要

一份 llama.cpp 提交记录,展示为 Qwen3.8-27B 挂载多 token 预测(MTP)草稿头后的实测结果:Q4 量化头搭配 Q6 主模型比纯 Q6 更快,而 f16 头因草稿接受率下降反而变慢,揭示了量化精度与投机解码速度的非直觉关系。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。