Reddit · Aggravating-Push-207 / reddit ·
用更小的 draft 模型来决定投机解码选哪个草稿,这想法蠢吗?
为什么值得读: 推理加速话题相关,但属零散讨论,尚无可复现结论。
AI 摘要
讨论用小型草稿模型为投机解码挑选更优候选的可行性,涉及推理加速的具体取舍。
相关事件与更多上下文见编辑部与归档页。
讨论用小型草稿模型为投机解码挑选更优候选的可行性,涉及推理加速的具体取舍。