Reddit · greggh / reddit ·

M1 Max 32GB 上跑 Qwen 3.8 27B:如何兼顾速度与上下文

为什么值得读: 真实设备上的本地推理调优经验,对 Apple Silicon 用户有参考价值,但属社区经验分享。

AI 摘要

用户在 32GB 内存的 M1 Max 上尝试运行 Qwen 3.8 27B,寻求可接受的速度与上下文长度组合。评论区给出了量化方案、上下文截断策略与实测参数。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。