Reddit · kkkrlklo / reddit ·
Tauon:新优化器在 GPT-Mini 上超过 Muon,loss 更低、单步快约 8.5%
为什么值得读: 训练侧优化器的可复现实验结果,直接影响模型训练效率,适合关注训练实践的用户跟进验证。
AI 摘要
有人发布新优化器 Tauon 的对比实验,在 GPT-Mini 训练上取得比 Muon 更低的 loss,同时每步训练时间缩短约 8.5%。
相关事件与更多上下文见编辑部与归档页。