Reddit · Flashy_Squirrel4745 / reddit ·
不依赖任何专有推理库,我从零实现了 RK3588 NPU runtime:Qwen3.5-4B 约 10 tok/s,比厂商 SDK 快约 2 倍
为什么值得读: 端侧 NPU 推理与性能优化的一手工程实践,直接命中推理部署关注点,且有可核验的实现细节。
AI 摘要
作者在 RK3588 上自研 NPU 推理运行时,绕开厂商专有库,实现 Qwen3.5-4B 约 10 tok/s,并声称比官方 SDK 快约两倍,含实现路径与性能对比。
相关事件与更多上下文见编辑部与归档页。