Reddit · john_enev / reddit ·
同一 GRPO 配方在三个从零训练的 LLM(353M/316M/672M)上结果迥异,且与规模无清晰关系
为什么值得读: 直接命中模型训练与 RL 实践,虽是小规模实验,但对理解 GRPO 的可复现性有参考价值,与用户关注的模型实践相关。
AI 摘要
研究者用完全相同的 GRPO 训练配方分别训练三个从零起步的小型 LLM,发现三者收敛结果差异显著,且结果好坏与模型规模之间没有明确规律,说明 RL 训练的稳定性仍高度依赖随机性。
相关事件与更多上下文见编辑部与归档页。