Reddit · Brilliant-Hall1387 / reddit ·

量化权重改用 FP8 而非 FP16:M6 矩阵路径提速 2 倍,MLX 预填充 +40%(M5 支持 int8)

为什么值得读: 推理部署与量化实操,数据具体可复现,直接对应本地推理优化关注点。

AI 摘要

实测把量化权重以 FP8 而非 FP16 加载,在 M6 上矩阵计算路径约 2×,MLX 预填充提升约 40%,M5 上还可叠加 int8,给出了具体硬件与收益对照。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。