TWITTER · 人工智能
RTX 5090 在更新版 Infernix 推理引擎上实现 390 tps Qwen3.8-Flash-Next
一语总结单块 RTX 5090 GPU 实现 390 token/s 的推理速度，使用更新版 Infernix 推理引擎结合 DFlash2 speculative 解码和 INT8 KV 缓存，性能较其他配置提升 6.5 倍。
推特报告称，配备 32GB 显存的 RTX 5090 实现 390 tps（最高可达 452 tps）的推理速度，运行的是 Qwen3.8-Flash-Next，该模型总参数为 125B，激活参数为 6B。测试的配置包括：Infernix + DFlash2 + Q2（390 tps）、Strata + MTP + Q2（348 tps）、Infernix + native MTP（304 tps）、NVFP4（209 tps）和 Qwen FP8（60 tps）。最快配置使用 INT8 KV 缓存、GSQ-RCO Q2_0 量化和 DFlash2 speculative 解码。Q2 量化模型的 perplexity 为 3.930，FP8 为 3.487（高出约 12.7%），开发者报告代码性能略有下降，但对散文和中文处理有更大损失。
RTX 5090 在更新版 Infernix 推理引擎上实现 390 tps Qwen3.8-Flash-Next
推特报告称，配备 32GB 显存的 RTX 5090 实现 390 tps（最高可达 452 tps）的推理速度，运行的是 Qwen3.8-Flash-Next，该模型总参数为 125B，激活参数为 6B。测试的配置包括：Infernix + DFlash2 + Q2（390 tps）、Strata + MTP + Q2（348 tps）、Infernix + native MTP（304 tps）、NVFP4（209 tps）和 Qwen FP8（60 tps）。最快配置使用 INT8 KV 缓存、GSQ-RCO Q2_0 量化和 DFlash2 speculative 解码。Q2 量化模型的 perplexity 为 3.930，FP8 为 3.487（高出约 12.7%），开发者报告代码性能略有下降，但对散文和中文处理有更大损失。