Reddit · Final-Data-1410 / reddit ·

从零训练 4400 万参数量化 LLM:45B tokens,体积 19.8MB,CPU 上约 1900 tok/s

为什么值得读: 典型的推理部署与量化实践,含训练规模、体积与吞吐等可验证指标,对本地/边缘部署有直接借鉴意义。

AI 摘要

作者从零训练了一个 4400 万参数的量化小模型,训练数据 45B tokens,最终模型文件仅 19.8MB,在 CPU 上推理速度约 1900 tok/s。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。