Build 9254 修复 TG 回归,并为 NVIDIA GPU 增加 PDL 支持

#20RedditT2未读

Build 9254 修复 TG 回归,并为 NVIDIA GPU 增加 PDL 支持

来源:/u/Bulky-Priority6824 / reddit ·

LocalLLaMA 社区讨论某构建版本修复 token generation 回归问题,并加入面向 NVIDIA GPU 的 PDL 支持。

推荐理由:与本地推理性能和 NVIDIA GPU 优化相关,对模型部署实践有用,但标题缺少上下文,需要进入帖子确认具体软件栈。

模型发布推理部署

7 / 10 打开原文