Reddit · milpster / reddit ·

llama.cpp 新增基于成本的分张量模式:混合速度多 GPU 场景 TG 提升约 3-4%

为什么值得读: 直接命中推理部署与开源项目:多 GPU 异构场景的显存分配优化对本地推理集群配置有立即可用价值。

AI 摘要

llama.cpp 合并新特性,按显存成本分配张量切分,在混合速度多 GPU 配置下 token 生成吞吐提升 3-4%。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。