Reddit · VerityAISolutions / reddit ·

我做了个 OpenAI 兼容服务,让 Gemma 4 E4B 跑在 Pixel 10 Pro XL(Tensor G5)上——全离线、约 11 tok/s、支持 Tailscale、Apache 2.0

为什么值得读: 端侧推理部署的实机案例,工程细节具体、协议兼容 OpenAI,对关注本地部署的用户有参考价值;但属个人项目、场景较窄。

AI 摘要

开发者构建了一个 OpenAI API 兼容的推理服务,将 Gemma 4 E4B 部署在 Pixel 10 Pro XL 手机(Tensor G5)上,实现完全离线运行,解码速度约 11 token/s,支持 Tailscale 加密访问并以 Apache 2.0 开源。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。