Reddit · challis88ocarina / reddit ·
提醒:跨模型、跨服务器比较 t/s 时务必谨慎
为什么值得读: 涉及推理性能基准的方法论陷阱,对做推理部署与容量评估有实际提醒价值,但内容较短、深度一般。
AI 摘要
一篇 PSA 提醒:不同模型与服务端在 batch、量化、并发等条件不同时,token/s 数据不可直接横向比较。
相关事件与更多上下文见编辑部与归档页。
一篇 PSA 提醒:不同模型与服务端在 batch、量化、并发等条件不同时,token/s 数据不可直接横向比较。