新智元报说念

裁剪：LRS

【新智元导读】80年代，当强化学习被悲凉，这对师徒莫得毁灭；如今，重看来时路，他们给出的建议仍然是，「坚执」住我方的科研想想。

3月5日，筹划机学会（ACM）秘书Andrew Barto和Richard Sutton获取图灵奖，以赏赐其在强化学习规模作念出的奠基性孝敬。

自从9年前AlphaGo围棋大捷，引爆全民RL狂欢，再到如今Deepseek-R1等推理模子的火热，足以解说强化学习在东说念主工智能规模的恒久影响力。

伸开剩余88%

最近，Communications of the ACM发布了一段对师徒二东说念主的采访，从强化学习的扣问履历，聊到对东说念主工智能的将来掂量。

Barto侧重于多智能体合营学习，Sutton则以为AGI还需要至少几十年，但最终一定能达成，二东说念主对AI的将来以及强化学习的期骗出路都充满但愿！

对于两东说念主共同获取的100万好意思元图灵奖奖金，现在尚未细目具体用途。

Sutton默示可能将其份额捐馈遗共同创立的Openmind扣问所，给后生科学家提供「糜费」的科研解放，让他们像我方往常那样专注探索基础性问题。

Barto则运筹帷幄用奖金在马萨诸塞大学（UMass）确立扣问生奖学金。

强化学习萌芽

1975年的斯坦福校园里，其时照旧脸色学专科的本科生Richard Sutton，翻遍了藏书楼里所谋划于机器智能的文件，贯通受到了刚劲冲击。

其时，惟一将奖励与学习谋划起来的扣问东说念主员是好意思国空军实践室的A. Harry Klopf，以为脑细胞会主动寻求奖励。

Sutton立即决定给Klopf写信，并在1978年脸色学毕业后，在马萨诸塞大学阿默斯特分校从事扣问，主要职责等于测试Klopf的不雅点。

团队其时有一位博士后Andrew Barto，在给与空军和国度科学基金会长达五年的资助后，除了一份说明，并莫得录用出任何后果。

Barto于1970年获取密歇根大学数学学士学位，1975年获取筹划机科学博士学位，最终成为UMass自适合集结实践室（现为自主学习实践室）的皆集主任，2012年退休。

Sutton加入实践室后，成为了Barto的第一位博士生，二东说念主最终发展出了当代强化学习时期，奖励亦然其中的中枢，通过联想奖励信号来检修神经集结，让神经元顺着预期想法发展。

1984年，Sutton在马萨诸塞大学安姆斯特分校（University of Massachusetts at Amherst）获取了博士学位，直到1994年，Sutton都是GTE Laboratories的筹划机和智能系统实践室的时期组的主要成员，随后又以资深扣问科学家的身份回到了马萨诸塞大学安姆斯特分校。

任职时代，Barto和Sutton共同出书了《强化学习导论》，获取了超8万次援用，2018年又刊行了第二版，于今一经人人AI学子的圣经。

同期，Sutton加入AT&T Shannon Laboratory担任东说念主工智能部门的主要时期构成员，扣问想法围绕着方案者与其环境交互时所面对的学习问题，执续校阅我方对寰宇的表征和模子的系统。

2003年之后，Sutton成了阿尔伯塔大学筹划机科学系的训诫和 iCORE Chair，教唆着强化学习与东说念主工智能实践室（RLAI）。

不外，提及强化学习的历史，Barto也提到，他们的想路并不崭新。

早在1954年，东说念主工智能前驱马娴雅斯基（Marvin Minsky）的博士学位论文主题等于模拟神经的强化学习系统，亦然IBM筹划机科学家Arthur Samuel用来检修筹划机棋战的要领。

然则，到了20世纪70年代，这个想法已过程时，大大宗AI扣问员都在联想人人系统，Barto也行运我方粗略保执「不对时宜」。

Barto和Sutton淡薄的一个环节时期是「时刻差分学习」（temporal difference learning）。

比如，想教一台筹划机学习棋战，奖励信号如果是赢得游戏，那中间哪些算作技艺是正确的，仍然无法细目；即时奖励不错在筹划机掂量一步后，反应出离最终奖励仍然有若干距离，比如胜率是否加多。

掂量随时刻的变化（时刻差）提供强化信号，那么鄙人次筹划机棋战时，就不错接纳那些能加多胜率的算作。

破圈

2016年，一场围棋东说念主机大战，让强化学习广为东说念主知，连学术圈以外的东说念主都能聊两句「阿尔法狗」。

Google DeepMind开导的AlphaGo，最终以四胜一败打败李世乭，赛后韩国棋院授予AlphaGo为荣誉九段。

2017年，AlphaGo Master以3：0的战绩，打败了寰宇排行第一的围棋棋手柯洁，从此东说念主类棋手再无一东说念主是机器的敌手。

不错说，强化学习让「围棋」死了一半。

之前的机器学习要领主如果有监督学习和无监督学习，在有监督竖立下，东说念主工标注样本给机器进行学习，样本量有限，无法适合「围棋」这种特征空间很大的情况；而无监督学习则是自动索求出灵验特征，以在数据中找到结构。

这两种要领在筹划中都已被解说是有用的，但都不是生物大脑的学习款式。

强化学习的想路是，当神经集结达成了一个指定筹划（比如赢得棋局）时，就会获取一定数值的奖励；如果失败了，会得到一个负值奖励。

机器不错通过不停试错来学习，尝试不同的移动，最终学到了在不同场景下应该使用哪种移动款式。

而后，强化学习总共呐喊大进，不仅攻克了多样电子竞技游戏，还激励了大型说话模子的推理改进，比如OpenAI o系列、DeepSeek-R1等推理模子，已成为新的扣问主流。

东说念主工智能的将来

Barto掂量东说念主工智能规模将向多智能体强化学习（multi-agent RL）想法演进，由神经集结社群过头个体奖励系统将酿成互动，这种机制可能进一步催生出合营集结，多个模子为达成共同筹划而彼此奖励，也可能激励执有不同筹划的智能体之间的利益冲破。

此类交互将对经济学与博弈论等复杂规模产生长远影响。

Sutton则以为东说念主工智能发展仍处于低级阶段，包括向通用东说念主工智能（AGI）的探索，即机器能剖析东说念主类贯通鸿沟内的通盘事物，Sutton信服强化学习将在这一程度中清楚环节作用。

谈到给年青筹划机扣问东说念主员的建议，Barton倡导效仿二东说念主的科研路，勇敢奴婢我方的扣问兴致，毋庸介意规模内其他东说念主的主张。天然这很繁难，但你必须找到内在驱能源，并尽你最大的才能坚执下去。

Sutton则给出更具体的建议，「坚执写稿」，通过笔墨记载来历练想想。

一提及筹划机科学的将来，Sutton就充满信心：将来几十年内，东说念主类将透顶破解东说念主工智能的精巧！这有可能是史上最伟大的智商飞跃，能为其孝敬菲薄之力是咱们的幸运。

参考贵府：

https://cacm.acm.org/news/a-rewarding-line-of-work/体育游戏app平台

发布于：北京市