Reddit · IngwiePhoenix / reddit ·
求推荐:本地大模型的压力测试工具
为什么值得读: 涉及推理部署的工程需求,方向对口,但内容以零散推荐为主,尚不成体系。
AI 摘要
r/LocalLLaMA 求助帖,作者想给自建推理服务做压测,征求能测并发、吞吐与时延的工具,回复提到若干开源方案与自研脚本。
相关事件与更多上下文见编辑部与归档页。
r/LocalLLaMA 求助帖,作者想给自建推理服务做压测,征求能测并发、吞吐与时延的工具,回复提到若干开源方案与自研脚本。