Reddit · clduab11 / reddit ·
用 Jev 做 3B/4B/12B/26B MoE 之间的路由,效果优于正则匹配
为什么值得读: 命中推理部署中的模型路由与成本优化主题,有明确对比结论,对多模型服务架构设计有实际借鉴意义。
AI 摘要
用户分享用 Jev 在多个不同规模 MoE 模型之间做请求路由的实践,对比显示优于基于正则的朴素路由方案。
相关事件与更多上下文见编辑部与归档页。
用户分享用 Jev 在多个不同规模 MoE 模型之间做请求路由的实践,对比显示优于基于正则的朴素路由方案。