Reddit · Hannibalj2ca / reddit ·
Kimi K3(Unsloth)IQ2-XXS 量化:711GB 压到 478GB
为什么值得读: 直接命中推理部署与量化实践,有具体数字与工具链,可复现,价值高。
AI 摘要
社区用 Unsloth 对 Kimi K3 做 IQ2-XXS 量化,仅移除多语言能力就将模型从 711GB 压缩至 478GB,讨论本地部署可行性。
相关事件与更多上下文见编辑部与归档页。