Hacker News · Lawless1987 / hacker_news ·
两个相似的 AI 评判模型同时出错概率是独立假设的 7.7 倍
为什么值得读: 直接关系到评测与 Agent 质量保障的工程实践,揭示了多模型投票式评测的隐藏风险,属于可落地的方法论发现。
AI 摘要
covenant 项目测量了 LLM-as-judge 场景下的相关性失效问题:两个同源或结构相似的评判模型会以远高于独立假设的频率一起给出错误判断,并给出量化结果与复现方法。
相关事件与更多上下文见编辑部与归档页。