小尺寸量化模型会不会悄悄破坏工具调用和 JSON 输出？

LocalLLaMA 讨论小参数或低比特量化模型在工具调用、结构化 JSON 输出上的可靠性问题，关注量化对 Agent 稳定性的影响。

推荐理由：高度命中推理部署、Agent 工具调用和结构化输出可靠性，是本地模型实践中非常关键的问题，值得优先跟进讨论结论。

Agent 工具模型发布推理部署

10 / 10 打开原文