为什么长视野训练没有减缓AI的发展速度?
尽管从理论上讲,随着AI模型需要完成更复杂的任务,强化学习的训练会需要更多FLOPs(浮点运算),从而拖慢进展速度,但实际AI进步并未显著放缓。本文提出了三个原因:新模型正以数量级更高的效率利用现有FLOPs(例如修复像FP16精度错误这样的低级bug);人类对AI智能水平的判断存在偏差,模型越接近人类水平就越难衡量其真实进步;除了智能之外,工作记忆、持久性(persistence)和个性等多种特质共同决定了模型的实际能力。作者认为,AI发展主要受制于偶发性的突破(如巧妙想法或修复重大bug),而非单纯的理论瓶颈。