Reddit · OnurCetinkaya / reddit ·
不用把 N-gram 存 SSD,能不能做成类 BT 系统:每个用户持有模型一小部分并实时流式共享参数
为什么值得读: 直击本地推理部署的存储/内存瓶颈,思路新颖且可工程化讨论,对做边缘推理或分布式推理的读者有启发价值。
AI 摘要
社区提出一种设想:把 N-gram/模型参数像 BitTorrent 一样分布式切片存放,每个用户只保存一小部分,在需要时从其他节点流式拉取相关参数,以缓解本地存储与显存压力。
相关事件与更多上下文见编辑部与归档页。