Reddit · Pyrolistical / reddit ·
如何估算自己硬件的 tokens/秒?
为什么值得读: 推理性能估算是部署选型关键技能,内容可操作、可验证,对日常本地推理实践直接有用。
AI 摘要
讨论根据 GPU 算力、显存带宽与量化等级估算推理吞吐的方法,给出可操作的估算公式与实测对照思路。
相关事件与更多上下文见编辑部与归档页。
讨论根据 GPU 算力、显存带宽与量化等级估算推理吞吐的方法,给出可操作的估算公式与实测对照思路。