Reddit · arty_photography / reddit ·
[研究] 单张 RTX 5090 上跑出 2788 tokens/s:扩散语言模型 ORL 完全开源
为什么值得读: 直接命中推理部署与开源项目两个关注点,单卡消费级显卡的高吞吐实测数据可复现、可迁移到本地部署场景。
AI 摘要
作者发布了一个基于扩散式 LLM 的推理方案 ORL,在单张 RTX 5090 上达到 2788 tokens/s 的吞吐,代码与权重全部开源,并给出了与自回归模型的吞吐对比数据。
相关事件与更多上下文见编辑部与归档页。