Reddit · /u/mailto_devnull / reddit ·
「等等,我再确认一下已经推理过的东西」—— 这是量化带来的副作用吗?
为什么值得读: 直接对应推理部署与量化实践中的真实行为问题,对本地部署调优有参考价值。
AI 摘要
r/LocalLLaMA 用户观察到量化后的模型会反复自我复检已经完成的推理步骤,社区讨论这是否源于量化损失导致的置信度下降,以及缓解办法。
相关事件与更多上下文见编辑部与归档页。
r/LocalLLaMA 用户观察到量化后的模型会反复自我复检已经完成的推理步骤,社区讨论这是否源于量化损失导致的置信度下降,以及缓解办法。