Reddit · /u/WildCard727 / reddit ·

GLM-5.3-Flash 在 AWS Trainium2 上的 NKI 层 megakernel: decode 阶段的时间花在哪,我们改了什么

为什么值得读: 直接命中「推理部署 + 模型实践」:给出可复用的性能剖析方法与 kernel 级优化路径,对做推理成本优化有实操参考价值。

AI 摘要

作者用 NKI 手写层内 megakernel 在 Trainium2 上服务 GLM-5.3-Flash,逐段剖析 decode 步骤的耗时构成(权重加载、HBM 带宽、kernel 启动开销),并说明如何通过层内融合减少访存与调度开销。属于少见的非 NVIDIA 硬件推理落地实录。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。