Reddit · challis88ocarina / reddit ·

提醒:跨模型、跨服务器比较 t/s 时务必谨慎

为什么值得读: 涉及推理性能基准的方法论陷阱,对做推理部署与容量评估有实际提醒价值,但内容较短、深度一般。

AI 摘要

一篇 PSA 提醒:不同模型与服务端在 batch、量化、并发等条件不同时,token/s 数据不可直接横向比较。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。