1953年,哈佛大学的一位心理学家认为发现了乐趣——意外地——在一只老鼠的头盖骨里。将电极插入老鼠大脑的特定区域,老鼠可以通过拉动杠杆来刺激植入物。它不停地返回,想要得到更多:无止境地、不断地拉杆。事实上,这只老鼠似乎不想做其他任何事情。看起来,大脑的奖励中心已经被定位了。

60多年后,在2016年,美国总统奥巴马宣布了一项重大改革一对人工智能(AI)研究人员正在培训AI播放视频游戏。一场比赛的目标,Coastrunner,是完成赛道。但是,AI球员被奖励沿着轨道捡起可收集物品。程序运行时,他们见证了奇怪的东西。AI找到了一种在无休止的圈子中滑动的方法,拾取无限循环的收藏品。它不断地做到了这一点,而不是完成课程。

将这些看似不相关的事件联系在一起的是一种与人类上瘾相似的奇怪现象。一些人工智能研究人员把这种现象称为“有经验玩家.”

这是快速成为热门话题在机器学习专家和188体育365那些有关与人工智能安全。

一个我们的(安德斯)有计算神经科学的背景,现在和一些组织一起工作,比如人工智能目标研究所,讨论如何避免人工智能出现此类问题;的其他(托马斯)研究历史,各种各样的方式都对两者思考未来和命运在过去的文明中在开始一段关于连线的谈话之后,我们都意识到这个话题背后的历史是多么丰富和有趣。

这是一个非常时兴的想法,但它的根源令人惊讶地深。目前,我们正在共同研究这种根源到底有多深:我们希望在即将出版的一本书中全面讲述这个故事。这个话题把一切都联系在一起,从个人动机的谜团,到越来越上瘾的社交媒体的陷阱,到享乐主义的难题,以及麻木的幸福生活是否比有意义的艰难生活更可取。这很可能会影响未来的文明本身。

在这里,我们概要介绍这个迷人但不被重视的话题,探索人们最初是如何开始思考它的。

魔法师的学徒

当人们想到人工智能可能出错,“ 最多可能图片一些恶意的计算机试图造成伤害。毕竟,我们倾向于拟人化——认为非人类系统的行为方式将与人类相同。但是当我们看具体的问题在当今的人工智能系统中,我们看到了智能机器可能会以其他更奇怪的方式出错。一个越来越多的问题与现实世界的AIs的问题是线路。

想象一下,你想训练一个机器人让你的厨房干净。你希望它自适应行动,以便它不需要监督。所以你决定尝试编码目标而不是规定一套严格而不灵活的按部就班的指令。你的机器人和你的不同之处在于它没有继承了一系列动机例如获取燃料或躲避危险,这是数百万年自然选择的结果。你必须为它设定正确的动机,让它可靠地完成任务。

因此,使用简单的动机规则对其进行编码:它从所用的清洁流体的量接收奖励。似乎足够了解。但是你回来找到机器人倾泻而浪费,浪费,沿着水槽。

也许它是如此倾向于最大化它的流动配额,而把它放在一边其他问题:如自己,或你的安全。这是线头头 - 虽然也称为同样的故障“奖励黑客”或“规范游戏.”

这已经成为机器学习中的一个问题,一种技术叫做强化学习最近变得很重要。强化学习模拟自主代理,训练它们发明完成任务的方法。它通过惩罚他们未能实现某些目标,同时奖励他们实现目标。所以,特工们被激发去寻求奖励,并因完成目标而获得奖励。

但我们发现,就像我们狡猾的厨房清洁工一样,代理经常会找到违反直觉的方法“作弊”游戏,这样他们就可以在不做任何完成任务所需的工作的情况下获得所有奖励。对奖赏的追求成为它本身的目的,而不是完成奖赏任务的手段。有一个日益增长的名单的例子。

当你思考这个的时候不是太不同对人类吸毒者的刻板印象。上瘾者绕过了所有实现“真正目标”的努力,因为他们用毒品来更直接地获得快乐。这两个瘾君子和ai陷入一种“行为循环”,即以牺牲其他目标为代价来寻求奖励。

狂热的啮齿动物

由于我们开始的老鼠实验,这被称为“连线”。这位哈佛大学心理学家是James Olds

1953年,他刚刚完成博士学位,《老者》有插入电极的隔区啮齿类动物的大脑——位于额叶下部——以致电线从它们的头盖骨延伸出来。如前所述,他允许他们通过拉动杠杆来刺激大脑的这个区域。这是后被称为“意欲”。

老人发现他的老鼠强迫自我刺激,忽略了所有其他需求和欲望。发布他的结果和他的同事彼得·米尔纳一起在接下来的一年里,这两个人报告说他们的杠杆拉动速度是“每小时1920个回复”。这是每两秒一次。老鼠似乎很喜欢它。

当代神经科学家质疑了奥尔德斯的结果,并提出了更复杂的图景,这意味着刺激可能只是引起了一种感觉“想要”没有任何“喜欢”。或者,换句话说,这些动物可能只是在经历纯粹的渴望,而根本没有任何愉悦的享受。然而,回到20世纪50年代,奥尔德斯和其他人很快就宣布了大脑“快乐中心”的发现。

在Olds的实验之前,乐趣是心理学中的一个肮脏的词:普遍存在的信念一直在很大程度上应该解释负面影响,因为避免痛苦而不是追求乐趣。但是,在这里,快乐似乎无可否认是一种积极的行为力量。的确,看起来像一个正反馈循环.显然没有什么能阻止这只动物刺激自己直至精疲力竭。

直到一个是不久的谣言开始蔓延老鼠经常用杠杆压到饥饿的地步。解释是这样的:一旦你挖掘了所有奖励的来源,所有其他奖励任务——甚至是生存所需的任务——就会变得无趣和不必要,甚至到死亡的程度。

就像Coastrunner AI,如果你直接获得奖励,而不需要完成任何实际轨道的工作,那么为什么不无限期循环呢?对于有多种生存需求的动物来说,这种支配性的强迫可能是致命的。食物是令人愉悦的,但如果你将快乐与进食分离开来,那么追求快乐可能会胜过寻找食物。

虽然在20世纪50年代最初的实验中没有老鼠死亡,但后来的实验似乎确实证明了电极诱导的快感的致命性。排除了电极制造人为的饱足感的可能性,1971年的一项研究似乎证明了电极快感确实可以比其他驱动器,这样做的程度self-starvation

词迅速蔓延。整个20世纪60年代,人们进行了相同的实验之外的其他动物卑微的实验室老鼠:从山羊、豚鼠到金鱼。谣言甚至传播这只海豚被允许自我刺激,在“被留在一个连上开关的水池里”后,“在一整夜的狂欢之后,自己高兴地死去了。”

这只海豚惨死于癫痫,事实上,更有可能是由电极插入的方式引起的:用锤子。这位科学家在这个实验后面是极其古怪的J C莉莉,浮选坦克的发明者和物种间沟通的先知,也将猴子变成了线头。1961年,他报告了一个特别喧闹的猴子,在逐渐击败他的杠杆之后,令人愉快的休闲,令人愉快的震惊,这是一个特别的喧闹的猴子。

一位曾在奥尔兹实验室工作的研究人员“比老鼠更聪明的动物”是否会“表现出同样的不适应行为”。在猴子和海豚身上做的实验给出了一些答案。

但事实上,许多可疑的实验已经在人体上进行过了。

人的线头

罗伯特Galbraith荒地仍然是一个高度有争议的人物神经科学的历史.除此之外,他进行了涉及的实验输血的血液从精神分裂症患者到没有精神分裂症的人,看看他是否能诱发其症状(希思声称这是有效的,但其他科学家不能复制他的结果)。他也可能曾参与寻找深部大脑电极的军事用途的模糊尝试。

自1952年以来,希斯已经记录由于衰弱的疾病,如癫痫或精神分裂症等衰弱而安装电极的人类患者对人类患者的深脑刺激的愉悦响应。

在20世纪60年代,在一系列有问题的实验中,希斯的电极植入实验对象被允许按下按钮来刺激他们自己的奖励中心,他们的名字都是匿名的“B-10”和“B-12”。他们表现出极度的愉悦感和强烈的重复欲望。一位记者后来评论说,这让他的拍摄对象变成了“僵尸”。一个主题报道感觉“比性更好”。

1961年,希思参加了一个研讨会在大脑刺激方面,另一位研究人员-JoséDelgado.- 暗示乐趣电极可用于“洗脑,改变了他们“自然”的倾向。德尔加多后来扮演斗牛士,夸张地证明了这一点,他安抚了一头被植入体内的公牛。但在1961年的研讨会上他建议电极可以改变性偏好。

希斯的启发。十年后,他甚至尝试用电极技术来“re-program一个叫B-19的男同性恋病人的性取向希斯认为,电极刺激可以通过“训练”B-19的大脑将快乐与“异性恋”刺激联系起来,从而改变他的实验对象。他说服自己,这是有效的(尽管没有证据)。

尽管在伦理和科学上都是灾难性的,但这一集最终捡起毫无疑问,它极大地塑造了“连线”的神话:如果它能“使一个男同性恋变直”(就像希思相信的那样),它又能做什么呢?

享乐主义的头盔

从这里开始,这个观念在更广泛的文化中扎根,这个神话也随之传播开来。1963年,多产的科幻小说作家艾萨克·阿西莫夫(Isaac Asimov)已经从电极中挤出了令人担忧的后果。他担心这会导致一种“戒掉一切瘾的瘾”,其结果是痛苦的思考.”

到1975年,哲学论文在思维实验中使用电极一篇论文设想了一个“仓库”,里面挤满了人,他们穿着小棉袄,戴着“快乐头盔”,体验着无意识的幸福。当然,大多数人会说这并不能满足我们“更深层次的需求”。但是,作者问道,“那么‘超快感头盔’呢?”一个不仅提供“巨大的感官愉悦”,而且还模拟任何有意义的体验——从写交响乐到与神本身会面?这可能不是真的,但它“似乎是完美的;完美的表象和存在是一样的。”

作者总结道:“有什么理由反对这一切呢?让我们面对现实吧:没什么。”

人类为了追求人为的快乐而脱离现实的想法很快就出现在科幻小说中。1963年,就在阿西莫夫的暗示发表的同一年,赫伯特·w·弗兰克出版了他的小说,兰花笼

它预示了智能机器被设计来最大限度地提高人类幸福的未来,无论发生什么。在履行职责的同时,机器将人类变成了不分青红皂白的肉团,移除所有不必要的器官。毕竟,许多附属物只会引起疼痛。最终,人类剩下的一切都是脱离肉体的快乐中心,除了同质的幸福之外,无法体验任何其他东西。

从那里,这个想法渗透到科幻小说中。摘自拉里·尼文1969年的故事死于狂喜“wirehead”这个词是在蜘蛛·罗宾逊1982年的作品中首次出现的Mindkiller它的口号是“快乐是唯一的死法。”

超正态刺激

但我们人类甚至不需要植入侵入性电极来让我们的动机失效。不像啮齿动物,或即使是海豚,我们是独特的好改变我们的环境.现代人类还擅长发明——并从异常诱人的人造产品中获利(从某种意义上说,我们的祖先在野外从来不必抵制它们)。我们制造自己的方式来分散自己的注意力。

与诺贝尔生物学奖得主奥尔兹用老鼠做实验的时间差不多Nikolaas Tinbergen.正在研究动物行为。他注意到了一些有趣的事情当触发本能行为的刺激被人为夸大到超出其自然比例时,就会发生这种情况。行为反应的强度并没有随着刺激变得更强烈而减弱,而且是被人为夸大的,而是变得更强,甚至到了这种反应对生物体造成损害的程度。

例如,在a更大而斑点Tinbergen发现鸟类更喜欢双曲线的假蛋,代价是忽视自己的后代。他把这些极具诱惑力的假货称为“超常刺激.”

因此,有些人会问:可能这是生活在一个现代化和制造业世界——充斥着快餐和色情——人类也同样如此开始放弃它自己的弹性代替了超常的便利

老担心

随着科技的发展,人造的快乐变得更容易获得,也更诱人,有时它们似乎胜过了我们分配给生存所需的“自然”冲动的注意力。人们经常指出电脑游戏瘾.强迫和重复地追求这种奖励,损害一个人的健康状况,并不是太不同的是与Coastrunner的圈子中的AI旋转过于不同。而不是完成任何“真正的目标”(完成比赛轨道或保持真正的健身),而不是陷入陷阱,这是占该目标的一些错误衡量标准(积分或假冒乐趣)。

不过,这个想法更古老。托马斯研究了过去人们担心人类会为了短期的快乐或便利而牺牲真正的长寿的无数方式。他的书X风险:人类如何发现自己的灭绝探索了这种恐惧的根源,以及它最初是如何在维多利亚时代的英国站稳脚跟的:当工业化的纯粹程度——以及人类对人工发明的日益依赖——首次变得明显时。

但是,在任何AIS接受训练游戏之前,人们一直在恐慌这种类型的乐趣 - 在训练游戏之前,即使将电极推入啮齿动物的颅骨之前,也要很长时间。回到20世纪30年代,科幻作者奥拉夫斯塔普隆写下关于文明崩溃所带来的“无檐便帽通过“直接刺激”大脑中枢而产生“虚幻的”狂喜。

肉体的甲壳纲动物

有消化达尔文的1869年经典,生物学家雷兰基斯特决定为寄生生物提供达尔文主义的解释。他注意到寄生虫的进化祖先通常更“复杂”。寄生生物已经失去了祖先的特征,比如四肢、眼睛或其他复杂的器官。

兰基斯特的理论,因为寄生虫会从宿主身上吸血,它们就失去了自食其力的需要。依附于宿主的身体过程,它们自己负责感知和运动的器官萎缩了。他最喜欢的例子是寄生藤壶,命名为Sacculina它的生命开始时是一个头部有分界的分节生物体。后附加到然而,一旦寄主出现,这种甲壳类动物就会“退化”成无定形、无头的小团,像电线头插头一样从寄主那里吸取营养。

对于维多利亚时代的人来说,这只是猜测的一小部分,由于整个工业化世界的舒适水平不断提高,人类可能会朝着藤壶的方向进化。兰克斯特说:“也许我们都在随波奔流,就像智力上的藤壶。沉思

事实上,就在不久前,这位讽刺作家塞缪尔·巴特勒他曾推测,人类在轻率地追求自动化便利的过程中,会变成一个“的寄生虫"在他们自己的工业机器上。

真正的尼尔瓦纳

到了20世纪20年代,朱利安·赫胥黎笔记了一首短诗.它愉快地探索了一个物种“进步”的方式。当然,螃蟹们认为进步是横向的。但是绦虫呢?他写道:

另一方面达尔文绦虫
同意进步是大脑的损失,
所有这些都使得蠕虫很难获得
真正的涅槃——消化、纯净、宏大。

在两次世界大战之间的那一代人中,对我们可能会追随绦虫的恐惧相当普遍。赫胥黎的兄弟,奥尔德斯,提供了他自己对反乌托邦潜能的看法pharmaceutically-induced乐趣在他1932年的小说中勇敢的新世界

赫胥黎夫妇的朋友,英裔印度遗传学家和未来学家J B S霍尔丹还担心人类可能走在寄生虫的老路上:为了自动的安逸而牺牲真正的尊严,就像啮齿类动物后来会为了轻松的快感而牺牲生存一样。

霍尔丹警告说:“藤壶的祖先是有头的,”在追求快乐的过程中,“人类可能会很容易失去智慧。”这特别的恐惧没有真的走了离开

因此,文明通过寻求虚假的快乐而不是真正的长寿而出轨的观念已经过时了。事实上,一个想法越老,越顽固地反复出现,我们就越应该警惕它是一种偏见,而不是任何基于证据的东西。那么,这些恐惧是有原因的吗?

在一个日益引人注目的算法媒体在美国,假装健康的信号似乎比追求真正的健康更能带来成功。就像Tinbergen的鸟一样,我们更喜欢夸张的技巧而不是真正的物品。和性爱波甚至还没有

正因为如此,一些专家推测“头颈坍塌”很可能会188体育365发生威胁文明。我们的分心只会吸引更多的注意力,而不是更少。

已经到1964年,波兰未来学家登月舱Stanisł啊连接的奥尔德斯的老鼠们把矛头指向了现代消费主义世界中人类的行为,指向了“电影”、“色情”和“迪斯尼乐园”。他推测,科技文明可能会脱离现实,成为“包绕的"在他们自己的虚拟快乐模拟。

上瘾的外星人

莱姆和后来的其他人甚至冒险这么做了的原因我们的望远镜还没找到先进太空飞行的证据外星文明是因为所有先进的文化,这里和其他地方都不可避免地创造了更加愉快的虚拟替代方案来探索外层空间。勘探毕竟是困难和有风险的。

回到20世纪60年代的反文化鼎盛时期,分子生物学家枪支支架建议,这一过程会通过“全球霸权态度的霸权霸权”发生。参考Olds的实验,他帮助自己猜测嬉皮士药用的猜测是文明有经验玩家.在1971年关于寻找外星物,支架的会议建议文明不是勇敢地向外扩张向内塌陷。进入沉思和陶醉的幸福。

在我们这个时代,有关各方指出这一点更有意义消费主义、社会媒体,快餐作为潜在崩溃的元凶(因此,其他文明还没有明显地在银河系中扩散的原因)。每个时代都有自己的焦虑。

那么我们该怎么办?

但这些几乎肯定不是最紧迫的面临着我们的风险。和如果处理得当,形式的wireheading可以使访问解开Vistas.快乐,意思和价值。我们不应该禁止自己这些山峰,以便称重。

但这里有一个真正的教训。让具有适应性的复杂系统——无论是大脑、人工智能还是经济——安全而良好地运行是困难的。安德斯的工作就是精确地解决问题这个谜语.鉴于文明本身,作为一个整体,就是一个如此复杂的适应系统,我们如何了解内在的失效模式或不稳定性,从而避免它们呢?也许“连线”是一种固有的不稳定性折磨市场驱动它们的算法,就像上瘾对人的折磨一样?

就人工智能而言,我们正在为这类系统奠定基础。一次边缘关注,越来越多188体育365同意实现比人类更聪明的人工智能可能近在眼前,足以构成一个严重关切.这是因为我们需要确保它是安全在此之前,弄清楚如何保证这一点本身就需要时间。然而,专家之间仍然存在重大分歧188体育365在时间里,多么迫切这个最后期限可能是。

如果创建了这样的AI,我们可以期望它可以访问自己的“源代码”,这样它可以操纵它的动机结构和管理自己的奖励。这可能被证明是一个直接的路径,以wired - head行为,并导致这样一个实体,有效地,成为一个“超级瘾君子。”但与人类上瘾者不同的是,它的极乐状态可能并不是与麻木或醉酒的无益状态相结合的。

哲学家尼克·博斯特罗姆人们猜测,这样一个代理人可能会将其超人般的生产力和狡猾全部投入到“降低未来对其宝贵回报来源的破坏风险”上。如果它判断人类成为下一个修复障碍的可能性甚至不为零,我们很可能就有麻烦了。

撇开推测和最坏的情况不谈,我们开始的例子——赛道AI和奖励循环——揭示了人工系统中的基本问题已经是一个现实世界的问题。因此,我们应该希望,我们将更多地了解这些动机的陷阱,以及如何在事情发展得太远之前避免它们。尽管它的起源很卑微——在白化鼠的头盖上,在关于绦虫的诗歌中——“线头”这个概念在不久的将来可能会变得越来越重要。

本文转载自谈话在创造性的公共许可证下。阅读原文

图片来源:查尔斯•泰勒/Shutterstock.com

托马斯·莫伊尼汉(Thomas Moynihan)是英国作家。他是foresight Foundation的研究员;牛津大学圣贝尼特学院历史学客座研究员;并与牛津大学人类未来研究所合作。他的研究着眼于人类灭绝、生存风险和人类长期潜力等思想的历史发展. ...

遵循托马斯:

安德斯·桑德伯格(Anders Sandberg)在人类未来研究所(Future of Humanity Institute)的研究集中于围绕人类进步和新技术的社会和伦理问题,以及评估未来技术的能力和潜在科学。金宝博平台特别感兴趣的主题包括认知增强、认知偏见、技术支持的集体智慧、神经伦理学和公共政策……

遵循安德斯: