Hacker News · avelone / hacker_news ·
Show HN:Shard——跨多台机器做分布式 AI 推理
为什么值得读: 正中推理部署方向,涉及自建推理集群的可行性,对你评估本地和私有化推理方案有直接参考。
AI 摘要
开源项目 Shard 把多台普通机器的算力拼起来做分布式推理,让多机之间共享模型加载和计算。
相关事件与更多上下文见编辑部与归档页。
开源项目 Shard 把多台普通机器的算力拼起来做分布式推理,让多机之间共享模型加载和计算。