Reddit · Hannibalj2ca / reddit ·

Kimi K3(Unsloth)IQ2-XXS 量化:711GB 压到 478GB

为什么值得读: 直接命中推理部署与量化实践,有具体数字与工具链,可复现,价值高。

AI 摘要

社区用 Unsloth 对 Kimi K3 做 IQ2-XXS 量化,仅移除多语言能力就将模型从 711GB 压缩至 478GB,讨论本地部署可行性。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。