Hacker News · AlpinDale / hacker_news ·
把大模型无损压缩到 12 比特
为什么值得读: 直接命中推理部署与模型压缩,开源可验证,对本地部署成本有实际意义。
AI 摘要
一个开源项目尝试将 LLM 权重以每参数 12 比特的方式无损压缩存储,声称在保持数值完全可还原的前提下显著降低显存与磁盘占用,附带参考实现与压缩率、吞吐对比。
相关事件与更多上下文见编辑部与归档页。
一个开源项目尝试将 LLM 权重以每参数 12 比特的方式无损压缩存储,声称在保持数值完全可还原的前提下显著降低显存与磁盘占用,附带参考实现与压缩率、吞吐对比。