Reddit · Fun-Meaning-6474 / reddit ·

自行量化 Kimi K3(2.8T A50B)为 GGUF:Q3_K_S 可用,磁盘占用 1.1TB

为什么值得读: 顶格命中推理部署与模型发布实践——大型 MoE 模型的 GGUF 量化经验对本地部署有直接指导意义。

AI 摘要

社区用户自行量化 2.8T 参数 MoE 模型 Kimi K3 的实操报告,Q3_K_S 质量可接受。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。