Reddit · Pretty-Ad774 / reddit ·
QLoRA 的 2e-4 默认学习率在样本数低于 10k 时是错误的——一个被忽视的调参陷阱
为什么值得读: 极其实用的微调技巧——用户关注模型部署和工程实践,QLoRA 调参是微调实操中的高频痛点和盲区,这个发现直接可以指导实际工作。
AI 摘要
社区讨论揭示了 QLoRA 微调中广泛使用的默认学习率 2e-4 在小样本(<10k)场景下并不合适,可能导致收敛不良或过拟合,并讨论了替代方案。
相关事件与更多上下文见编辑部与归档页。