Hacker News · bleonard / hacker_news ·

我们唯一一次故意击穿 LLM 缓存:benchmark 的缓存隔离问题

为什么值得读: 提示词/响应缓存污染评测是很容易踩的坑,对你自建评测流程有直接警示价值;属单点经验,影响面有限。

AI 摘要

一篇工程博客,讲团队为何要故意打破 LLM 响应缓存——因为缓存命中会污染 benchmark 结果,并介绍他们如何做缓存隔离以保证评测可信。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。