Reddit · W61k3r / reddit ·
7900XTX 上 llama.cpp Vulkan 每日配置分享:Qwen3.6 35B A3B IQ4_XS 跑 262K 上下文
为什么值得读: 直接命中模型推理部署:llama.cpp 实战配置 + MoE 模型量化 + 性能对比数据,对自部署方案有极高参考价值。
AI 摘要
用户分享在 AMD 7900XTX 上使用 llama.cpp Vulkan 后端的生产配置,Qwen3.6 MoE 模型 IQ4_XS 量化,吞吐量是 ROCm 7.14 的两倍。
相关事件与更多上下文见编辑部与归档页。