Reddit · Lumpy-Comedian-1027 / reddit ·

NInfer 分支:RTX 5090 上 FP4 实现 555K 上下文,带 YARN、KV 缓存与监控

为什么值得读: 本地推理部署硬核实践:消费级 5090 跑超长上下文,多项工程特性直击个人推理部署的真实瓶颈。

AI 摘要

本地推理新分支 NInfer 在 RTX 5090 上支持 FP4 量化下 555K 超长上下文,内置 YARN 位置编码、可靠的 KV 主机缓存、监控与 Jinja 模板,并支持开放模型权重。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。