ARTICLE · 人工智能
计算趋势：指数增长仍在继续吗？
一语总结本文剖析了 AI 预测中使用的四种不同的“计算”指标，揭示了已发布的训练计算系列中的估计不确定性和选择偏差，并识别出最终会使每条增长曲线弯曲的物理和经济约束。
文章认为，“计算增长”是一个模糊的表述，涵盖了四种不同的量：前沿训练计算、已部署总计算、性价比和推理计算。每种量都有各自的增长速率、测量挑战和意义。训练计算的估计依赖于两种重建方法（基于模型规格的 6ND 或硬件利用率），但两者都受到广泛的不确定性影响——利用率估计、精度相关的 FLOP/s、近似的 6ND 系数、边界定义不一致以及实验室披露的下降。已发布的系列（Sevilla/Epoch AI）包含方法和不确定性元数据，但存在选择偏差：它们仅捕获成功且公开的运行，遗漏了被放弃或内部的尝试。这导致可见的平台期无法与披露减少背后仍在持续增长的情况区分开来。文章随后列出了五个约束因素——电力、资本、制造/封装产能、数据以及内存带宽——这些约束最终会限制外推，强调这些是结构性约束而非具体的时间预测。
- 四种不同的计算量被混同在一个短语下。
前沿训练计算、已部署总计算、性价比和推理计算拥有不同的增长驱动因素、测量方法，并且可能同时朝相反方向变化。
- 训练计算的估计是基于重建的，存在大幅且系统性的不确定性。
基于 6ND 模型的方法和硬件利用率方法都依赖未公开的参数（令牌数量、集群规模、利用率），并且对精度、架构稀疏性以及边界选择敏感。
- 已发布的计算数据库受到选择偏差的影响，且随着披露减少而加剧。
数据库仅包含成功且公开的运行，放弃或内部的运行缺失。可见系列中的平台期既可能是真正的放缓，也可能是由于披露减少而隐藏的持续增长。
- 五个结构性约束最终将限制计算增长。
电力供应交付时间、资本回报要求、领先制程/封装产能、令牌数据可用性以及内存带宽的扩展分别代表一个上限，可能在达到物理极限之前使曲线弯曲。
计算趋势：指数增长仍在继续吗？
文章认为，“计算增长”是一个模糊的表述，涵盖了四种不同的量：前沿训练计算、已部署总计算、性价比和推理计算。每种量都有各自的增长速率、测量挑战和意义。训练计算的估计依赖于两种重建方法（基于模型规格的 6ND 或硬件利用率），但两者都受到广泛的不确定性影响——利用率估计、精度相关的 FLOP/s、近似的 6ND 系数、边界定义不一致以及实验室披露的下降。已发布的系列（Sevilla/Epoch AI）包含方法和不确定性元数据，但存在选择偏差：它们仅捕获成功且公开的运行，遗漏了被放弃或内部的尝试。这导致可见的平台期无法与披露减少背后仍在持续增长的情况区分开来。文章随后列出了五个约束因素——电力、资本、制造/封装产能、数据以及内存带宽——这些约束最终会限制外推，强调这些是结构性约束而非具体的时间预测。
文章金句
"关于计算增长在放缓还是加速的说法是不可解释的，除非明确指的是哪一种。
"因此，可见的系列是成功且公开的训练运行记录，这并不等同于计算消耗的记录——且随着披露减少，两者之间的差异会扩大。