Reddit · kkkrlklo / reddit ·

Tauon:新优化器在 GPT-Mini 上超过 Muon,loss 更低、单步快约 8.5%

为什么值得读: 训练侧优化器的可复现实验结果,直接影响模型训练效率,适合关注训练实践的用户跟进验证。

AI 摘要

有人发布新优化器 Tauon 的对比实验,在 GPT-Mini 训练上取得比 Muon 更低的 loss,同时每步训练时间缩短约 8.5%。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。