Reddit · EmilPi / reddit ·
近期多个模型量化版本的初步测试结果汇总
为什么值得读: 量化实测数据是推理部署最需要的落地信息,可直接用于本地模型选型;“初步结果”尚不严谨,故不给 8 分以上。
AI 摘要
社区用户汇总了近期几款热门模型在不同量化等级下的初步 benchmark 表现,对比精度损失与显存占用,为本地部署选型提供参考。
相关事件与更多上下文见编辑部与归档页。
社区用户汇总了近期几款热门模型在不同量化等级下的初步 benchmark 表现,对比精度损失与显存占用,为本地部署选型提供参考。