Reddit · ionutvi / reddit ·

我分析了 31,352 个逐小时 LLM 基准分数:日内波动 2.8 分,日间波动 8.4 分

为什么值得读: 直接关系到模型评估可靠性,做模型选型和基准对比时可参考其方法论,避免被单次评测结果误导。

AI 摘要

作者对大量逐小时基准数据做统计分析,发现同一模型基准分数日内波动约 2.8 分、日间波动约 8.4 分,说明单次基准结果噪声明显,模型对比需要多次采样与更长观测窗口才能可信。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。