Reddit · msalsas / reddit ·
llama-doctor:读取 llama.cpp 运行指标并诊断问题的 CLI 工具与实时面板
为什么值得读: 推理部署排障工具,开源可自用,直接命中推理实践与开源项目偏好。
AI 摘要
开源工具 llama-doctor 提供命令行与实时仪表盘,采集 llama.cpp 的吞吐、显存、批处理等指标,并给出异常原因提示。
相关事件与更多上下文见编辑部与归档页。
开源工具 llama-doctor 提供命令行与实时仪表盘,采集 llama.cpp 的吞吐、显存、批处理等指标,并给出异常原因提示。