#20RedditT2未读
Build 9254 修复 TG 回归,并为 NVIDIA GPU 增加 PDL 支持
来源:/u/Bulky-Priority6824 / reddit ·
LocalLLaMA 社区讨论某构建版本修复 token generation 回归问题,并加入面向 NVIDIA GPU 的 PDL 支持。
推荐理由:与本地推理性能和 NVIDIA GPU 优化相关,对模型部署实践有用,但标题缺少上下文,需要进入帖子确认具体软件栈。
7 / 10 打开原文
#20RedditT2未读
来源:/u/Bulky-Priority6824 / reddit ·
LocalLLaMA 社区讨论某构建版本修复 token generation 回归问题,并加入面向 NVIDIA GPU 的 PDL 支持。
推荐理由:与本地推理性能和 NVIDIA GPU 优化相关,对模型部署实践有用,但标题缺少上下文,需要进入帖子确认具体软件栈。
7 / 10 打开原文