Reddit · 1ncehost / reddit ·

Qwen3.8 27B 在 4x MI100($6.5k)上达 972 TG/s:自研 INT8 vLLM fork

为什么值得读: 推理部署+开源 fork 的极致性能实践,对低成本推理集群方案有直接参考价值。

AI 摘要

作者用自研 INT8 vLLM fork 在 4 卡 MI100 平台上运行 Qwen3.8 27B,实现约 972 tokens/s 生成与 5,680 tokens/s 预填充,主打低成本推理。

打开原文阅读完整内容 →
相关事件与更多上下文见编辑部与归档页。