Reddit · nirurin / reddit ·
Qwen3.8-Flash-Next 在 5090+64GB 上用 Llama.cpp 跑,似乎不吃内存?
为什么值得读: 涉及时下热门硬件上的推理部署细节与性能排查,对本地部署实践有直接参考价值。
AI 摘要
用户在 RTX 5090 加 64GB 内存环境用 llama.cpp 部署 Qwen3.8-Flash-Next,发现显存/内存占用异常偏低,讨论是否涉及 MoE 稀疏激活或 offload 行为。
相关事件与更多上下文见编辑部与归档页。