Reddit · sevinsixtwo / reddit ·
确定性注意力 Transformer:在 H100 上实现 0.63 J/token 的能耗测量
为什么值得读: 推理效率论文,偏硬件底层,与用户 Agent 实践间接相关。
AI 摘要
提出一种确定性的注意力机制 Transformer,在 H100 上测得每 token 仅消耗 0.63 焦耳。
相关事件与更多上下文见编辑部与归档页。
提出一种确定性的注意力机制 Transformer,在 H100 上测得每 token 仅消耗 0.63 焦耳。