Hacker News · theanonymousone / hacker_news ·
论文:删除部分权重在 LLM 后训练中的意外效果
为什么值得读: 模型训练与压缩方向的实证研究,结论反直觉,对做微调和模型优化的人有启发。
AI 摘要
论文发现后训练阶段有策略地删减部分权重,反而能带来效果提升,并分析其与剪枝、正则化之间的关系。
相关事件与更多上下文见编辑部与归档页。
论文发现后训练阶段有策略地删减部分权重,反而能带来效果提升,并分析其与剪枝、正则化之间的关系。