Reddit · /u/Code_MasterCody / reddit ·

TKintegers K5:在 NVIDIA L4 上相比 TorchAO FP8,prefill 吞吐提升 3.21 倍、decode 提升 3.10 倍

为什么值得读: 量化+推理吞吐的实测数据,直接对应推理部署优化,属于可复现的工程收益。

AI 摘要

作者发布 TKintegers K5 低精度方案,在 NVIDIA L4 上对比 TorchAO FP8 实测得到 3.21× prefill 与 3.10× decode 吞吐提升,并公开了实现。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。