同一批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

#4RedditT2未读

同一批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

来源:/u/C_Coffie / reddit ·

作者在不同硬件平台上运行相同模型,分享本地推理性能对比数据。内容对本地 LLM 部署、硬件选型和成本评估有参考意义。

推荐理由:你关注模型部署和工程判断,这类自测数据比泛泛讨论更有价值。建议关注测试方法、模型规模、量化配置和吞吐/延迟指标是否完整。

模型发布推理部署

8 / 10 打开原文