Reddit · whiteh4cker / reddit ·
提醒:llama.cpp --lazy-mode 默认改为 auto,大表可能留在磁盘
为什么值得读: 直接命中推理部署实践,llama.cpp 行为变更会实际影响本地推理性能,需及时了解并调参。
AI 摘要
llama.cpp 更新后 --lazy-mode 默认值变为 auto,部分大权重表可能不再预加载到内存而留在磁盘,影响推理性能。
相关事件与更多上下文见编辑部与归档页。