Reddit · jacek2023 / reddit ·

llama.cpp 新增 GraniteSWAForCausalLM / GraniteMoeSWAForCausalLM 模型支持(PR #25505)

为什么值得读: 命中开源项目与推理部署,llama.cpp 新模型支持直接影响本地推理工具链能力,对部署 Granite 模型有用。

AI 摘要

ggml-org/llama.cpp 提交 PR #25505,为 IBM Granite 系列 SWA(滑动窗口注意力)因果模型增加支持,包括 MoE 变体。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。