Reddit · msalsas / reddit ·

llama-doctor:读取 llama.cpp 运行指标并诊断问题的 CLI 工具与实时面板

为什么值得读: 推理部署排障工具,开源可自用,直接命中推理实践与开源项目偏好。

AI 摘要

开源工具 llama-doctor 提供命令行与实时仪表盘,采集 llama.cpp 的吞吐、显存、批处理等指标,并给出异常原因提示。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。