Hacker News · moelove / hacker_news ·
SGLang PD 分离架构中的跨请求 KV Cache 泄露
为什么值得读: 同时命中推理部署与安全问题,属于生产环境必须关注的缺陷类型,且附带可执行的修复路径。
AI 摘要
LMSYS 博客披露 SGLang 在 Prefill/Decode 分离部署下出现的跨请求 KV Cache 泄露问题,说明不同用户请求之间可能读取到彼此缓存内容,并给出修复与缓解方案。
相关事件与更多上下文见编辑部与归档页。