Reddit · Final-Data-1410 / reddit ·
从零训练 4400 万参数量化 LLM:45B tokens,体积 19.8MB,CPU 上约 1900 tok/s
为什么值得读: 典型的推理部署与量化实践,含训练规模、体积与吞吐等可验证指标,对本地/边缘部署有直接借鉴意义。
AI 摘要
作者从零训练了一个 4400 万参数的量化小模型,训练数据 45B tokens,最终模型文件仅 19.8MB,在 CPU 上推理速度约 1900 tok/s。
相关事件与更多上下文见编辑部与归档页。