Reddit · jacek2023 / reddit ·
llama.cpp 新增 GraniteSWAForCausalLM / GraniteMoeSWAForCausalLM 模型支持(PR #25505)
为什么值得读: 命中开源项目与推理部署,llama.cpp 新模型支持直接影响本地推理工具链能力,对部署 Granite 模型有用。
AI 摘要
ggml-org/llama.cpp 提交 PR #25505,为 IBM Granite 系列 SWA(滑动窗口注意力)因果模型增加支持,包括 MoE 变体。
相关事件与更多上下文见编辑部与归档页。