Reddit · Zombiecidialfreak / reddit ·
本地模型只有 5 tokens/s,你们觉得可用吗?
为什么值得读: 本地推理可用性阈值讨论,对部署选型有参考,属实践向社区经验。
AI 摘要
社区讨论 5 tokens/s 是否算可用的本地推理速度,涉及用途差异与量化/硬件的取舍经验。
相关事件与更多上下文见编辑部与归档页。
社区讨论 5 tokens/s 是否算可用的本地推理速度,涉及用途差异与量化/硬件的取舍经验。