Reddit · OnurCetinkaya / reddit ·

不用把 N-gram 存 SSD,能不能做成类 BT 系统:每个用户持有模型一小部分并实时流式共享参数

为什么值得读: 直击本地推理部署的存储/内存瓶颈,思路新颖且可工程化讨论,对做边缘推理或分布式推理的读者有启发价值。

AI 摘要

社区提出一种设想:把 N-gram/模型参数像 BitTorrent 一样分布式切片存放,每个用户只保存一小部分,在需要时从其他节点流式拉取相关参数,以缓解本地存储与显存压力。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。