Hacker News · AlpinDale / hacker_news ·

把大模型无损压缩到 12 比特

为什么值得读: 直接命中推理部署与模型压缩,开源可验证,对本地部署成本有实际意义。

AI 摘要

一个开源项目尝试将 LLM 权重以每参数 12 比特的方式无损压缩存储,声称在保持数值完全可还原的前提下显著降低显存与磁盘占用,附带参考实现与压缩率、吞吐对比。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。