Reddit · DerTomsn / reddit ·
Nex-N2.5-mini 的 MLX 4bit 版在 Apple M5 Max 上跑出 133.6 tok/s
为什么值得读: 具体的端侧推理部署与量化基准数据,含硬件、量化格式与吞吐量,对本地部署选型有直接参考价值。
AI 摘要
用户实测 Nex-N2.5-mini 的 MLX 4bit 量化版本在 Apple M5 Max 上的推理速度,单流约 133.6 tokens/s,数据来自 llm-bench.io。
相关事件与更多上下文见编辑部与归档页。