Hacker News · khalidkhair / hacker_news ·

Janas:通过从 SSD 流式加载专家,运行超出内存容量的 LLM

为什么值得读: 针对本地推理显存瓶颈的实用方案,与推理部署关注点高度契合,且为可直接试用的开源实现。

AI 摘要

开源项目 Janas 提出让 LLM 在显存/内存不足时仍可运行的方法:把 MoE 专家权重放在 SSD 上并按需流式加载,从而实现“模型大于内存”的本地推理。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。