TWITTER · 人工智能
vLLM 0.33.0 引入 ROCM_OCTAVE 3-4 位 KV 缓存后端，为 AMD 显卡提供新方案
一语总结vLLM 0.33.0 发布 ROCM_OCTAVE，这款适用于 AMD 显卡的 3-4 位 KV 缓存后端，在 Radeon RX 7900 XTX 上实现 4.6 倍 KV 缓存容量，显著提升吞吐量。
本推文宣布 vLLM 0.33.0 的发布，并介绍了 ROCM_OCTAVE——一种全新的 3-4 位 KV 缓存后端，用于 AMD 显卡。开发者测试显示，使用 4 块 Radeon RX 7900 XTX 显卡运行 Qwen3.8-27B 模型时，ROCM_OCTAVE 相较于 FP16 KV 缓存可实现 4.6 倍的 KV 缓存 token 数量。双 GPU 测试报告显示，配置为 2 块 RX 7900 XTX 时，可实现约 18 万上下文，3 位 Octave 方式 achieving 44.8 tokens/second，而独立的 INT8 后端仅达到 31.8 tps。这种配置最终实现约 139 万个聚合 KV 缓存 token 插槽。
vLLM 0.33.0 引入 ROCM_OCTAVE 3-4 位 KV 缓存后端，为 AMD 显卡提供新方案
本推文宣布 vLLM 0.33.0 的发布，并介绍了 ROCM_OCTAVE——一种全新的 3-4 位 KV 缓存后端，用于 AMD 显卡。开发者测试显示，使用 4 块 Radeon RX 7900 XTX 显卡运行 Qwen3.8-27B 模型时，ROCM_OCTAVE 相较于 FP16 KV 缓存可实现 4.6 倍的 KV 缓存 token 数量。双 GPU 测试报告显示，配置为 2 块 RX 7900 XTX 时，可实现约 18 万上下文，3 位 Octave 方式 achieving 44.8 tokens/second，而独立的 INT8 后端仅达到 31.8 tps。这种配置最终实现约 139 万个聚合 KV 缓存 token 插槽。