TWITTER · 人工智能
Mac Studio M3 Ultra 通过双 Thunderbolt 5 SSD 实现 25% 加速运行 7630 亿参数 DeepSeek 模型
一语总结开发者采用 2× Thunderbolt 5 SSD 进行 RAID 0 配置，使得 7630 亿参数 DeepSeek 类模型在 Mac Studio M3 Ultra（96GB 统一内存）上解码速度提升 23-26%（从 3.5 提升至 4.5 tps），prefill 吞吐提升 67-77%，4K 提示词首 Token 生成时间从约 3.5 分钟缩短至约 2 分钟。
一位开发者展示了如何在 Mac Studio M3 Ultra（配备 96GB 统一内存）上利用 InferSSD 推理引擎和双路 Thunderbolt 5 SSD 进行 RAID 0 配置，加速运行 7630 亿参数的 DeepSeek-V4.1-Flash-1017 Mixture of Experts（MoE）模型（约 473GiB）。解码速度从 3.5-3.7 tps 提升至 4.4-4.6 tps（提升 23-26%），而 prefill 吞吐提升 67-77%，4K 提示词首 Token 生成时间从约 3.5 分钟缩短至约 2 分钟。
Mac Studio M3 Ultra 通过双 Thunderbolt 5 SSD 实现 25% 加速运行 7630 亿参数 DeepSeek 模型
一位开发者展示了如何在 Mac Studio M3 Ultra（配备 96GB 统一内存）上利用 InferSSD 推理引擎和双路 Thunderbolt 5 SSD 进行 RAID 0 配置，加速运行 7630 亿参数的 DeepSeek-V4.1-Flash-1017 Mixture of Experts（MoE）模型（约 473GiB）。解码速度从 3.5-3.7 tps 提升至 4.4-4.6 tps（提升 23-26%），而 prefill 吞吐提升 67-77%，4K 提示词首 Token 生成时间从约 3.5 分钟缩短至约 2 分钟。