Reddit · StayLameBro / reddit ·

两台游戏 PC + M4 Pro MacBook(以太网)+ 两台 iPhone 17 Pro Max(USB-C):Qwen3.8 Flash Next 跑到 37-39 tok/s、60k 上下文

为什么值得读: 异构设备拼算力跑大模型的一手实验,对低成本本地推理集群有参考价值,但方案偏极客、复现成本高。

AI 摘要

作者用两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 组异构算力池,通过以太网与 USB-C 互联跑 Qwen3.8 Flash Next,实测 37-39 tok/s、60k 上下文,并计划支持 262k。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。