Reddit · Queasy_Back2588 / reddit ·
你日常实际用哪种量化?有人对 2-bit / 3-bit 满意吗?
为什么值得读: 来自实际使用者的量化经验,对本地推理部署的显存/质量权衡有直接参考意义。
AI 摘要
社区讨论日常使用中的量化档位选择,交流 2-bit、3-bit 极低比特量化在真实任务中的可用性与质量损失体感。
相关事件与更多上下文见编辑部与归档页。
社区讨论日常使用中的量化档位选择,交流 2-bit、3-bit 极低比特量化在真实任务中的可用性与质量损失体感。