说到学习,责备是最主要的游戏。

我知道这听起来很奇怪,但听我说完。神经回路有成千上万的神经元,控制着你的每一个想法、推理和行为。以缝制口罩为例:一组神经元必须以特定的方式连接起来,以确保你不会被尖针扎到手指。你会在一开始就失败,然后才能更好地保护你的手,而缝纫统一的缝线与效率。

所以问题是,在那些最终允许你轻松缝合的神经元中,哪些神经元——或者哪些神经元之间的哪些联系——最初是哪里导致了你的受伤?这些是你最终精通的原因吗?大脑到底是如何通过错误学习的?

一篇新论文他是人工智能领域一些最聪明的人,包括杰弗里·辛顿博士深度学习教父DeepMind是神经与人工智能交叉领域的典型代表。该公司的工作人员认为,驱动深度学习的核心算法背后的想法也在大脑内部运作。这种被称为backpropagation的算法是当前深度学习革命的火花,它实际上已经成为了机器学习的庞然大物。就其核心而言,“backprop”是一种极其有效的方式,可以将责任归咎于人工神经网络中的连接,并推动更好的学习结果。虽然还没有确凿的证据证明这个算法也能起作用在大脑中作者提出了一些想法,神经科学家可能会在活的脑组织中进行测试。

这是一个极具争议性的观点,部分原因是多年前人工智能研究人员提出了这个观点,但神经科学家却反驳说“在生物学上是不可能的”。然而,最近,深度学习技术与神经科学原理之间的联系越来越纠缠在一个建设性的思想反馈圈中。正如作者所言,现在也许是重新审视反向传播——深度学习的核心——也可能以某种形式存在于生物大脑中的可能性的好时机。

作者总结道:“我们认为backprop为理解大脑皮层如何学习提供了一个概念框架,但关于大脑如何近似它仍有许多未解之谜。”如果是真的,那就意味着我们的生物大脑以某种方式想出了人工设计的令人难以置信的是,这在一定程度上反映了进化过程中基因对我们大脑的缓慢塑造。人工智能,我们大脑的产物,将令人惊讶地成为理解我们如何学习的核心谜题的一种方式。

让我们谈谈责任

神经科学关于大脑学习的教条是“一起开火,一起行动”。从本质上讲,在学习过程中,神经元会通过突触相互连接,形成一个网络,这个网络会慢慢自我完善,让我们学会一项任务,比如缝一个面具。

但这究竟是如何工作的?神经网络是一种与邻居联系的人的民主。任何单一的神经元只接收到上游合作伙伴的输入,并将信息沿其下游伴侣传递。在神经科学的概念中,这些连接的强烈依赖于“突触权重” - 它作为更坚定或放松的握手,或传输信息。强大的突触重量并不总是更好。学习的主要观点是以某种方式“调整”整个人口的重量,以便主要结果是我们想要的主要结果 - 即缝合布,而不是刺破手指。

把它想象成一个投票的场景,其中神经元是孤立的个体选民,只与近邻接触。社区,作为一个整体,知道他们想投票给谁。但是当一个对手当选后,问题就来了,事情到底哪里出了问题,网络又如何作为一个整体来修复它?

这显然不是一个完美的类比,但它确实说明了指责的问题。神经科学家普遍同意,神经网络调整其神经元成员的突触权重,以“推动”结果朝着更好的方向发展——这个过程我们称之为“学习”。“但为了调整权重,网络首先必须知道要调整哪些连接。

进入反向传播。在深度学习中,由相互连接的多层人工神经元组成,同样存在责备问题。早在1986年,Hinton和他的同事David Rumelhart和Ronald williams就发现,当信息在不同的神经层间传递时,通过观察输出与预期输出之间的距离,可以用数学计算出错误信号。然后,这个信号可以通过神经网络层传递回去,每一层分别根据其上层接收一个新的错误信号。因此,名称为“backpropagation”。

它有点像五个人在一条线上传递篮球,最后一个扔错了。在这种情况下,支持 - 将从最终球员开始,判断他或她的问题是多么可能,并将返回线路弄清楚谁需要调整。在人工神经网络中,“调整”意味着改变突触重量。

下一步是让网络再次计算同样的问题。这一次,球进了。这意味着,无论教练做了什么调整,都是有效的。网络将采用新的突触权值,学习周期继续。

大脑的支柱?

这听起来像是一种合乎逻辑的学习方式吗?完全!Backprop与其他算法结合,使深度学习成为面部识别、语言翻译以及人工智能在围棋和扑克中战胜人类的主导技术。

“现实是,在深度神经网络中,通过遵循绩效措施的梯度来学习效果很好,”作者说。我们唯一的高效学习衡量标准是我们自己的大脑 - 所以有没有机会在大脑中存在背后的想法?

30年前,答案是“绝对不行”。“原因有很多,但主要的一个是,人工神经网络的建立方式与生物网络不同,而且backprop在数学上的工作方式不能完全转化为我们对自己大脑的了解。”例如,backprop需要一个错误信号沿着与最初的“前馈”计算相同的路径传播——也就是最初产生结果的信息路径——但我们的大脑并不是这样连接的。

该算法还通过直接反馈信号改变突触权值。一般来说,生物神经元不会。它们可以通过更多的输入,或其他类型的调节——激素、化学递质等等——来改变它们的连接——但使用相同的物理分支和突触来传递前反馈信号,同时又不把它们混淆,这被认为是不可能的。再加上突触实际上是大脑储存数据的地方,这个问题就变得更加复杂了。

这篇新论文的作者提出了一个相当巧妙的解决方案。关键是不要从字面上理解backprop,而要采用它的主要原则。这里有两个例子。

第一,如果大脑不能实际使用反馈信号来改变突触的重量,我们知道它会使用其他机制来改变连接。作者认为,大脑可以改变神经元的放电能力,从而在局部改变突触的重量,这样下一次你就不会扎破手指,而不是利用最终的结果来尝试改变整个生物网络在所有层面上的突触权重。这听起来可能有点挑剔,但这个理论改变了大脑中一些不可能的东西,使它可以在我们对大脑计算的了解的基础上工作。

至于神经分支同时支持前馈“计算”信号和反馈“调整”信号的问题,作者认为,神经科学最近的发现清楚地表明,在计算方面,神经元不是一个统一的团。更确切地说,神经元被清晰地分成若干节段每个隔间接收不同的输入计算方式略有不同。这意味着,假设神经元可以同时支持和整合多种类型的信号(包括错误信号),同时保持它们的记忆和计算能力是不疯狂的。

这就是简单的蒸馏。更多的细节被解释在报纸上,这使得一个很好的阅读。目前,大脑中的背面状信号的想法仍然是猜想;神经科学家将不得不进行湿实验室实验,看看经验数据是否支持这个想法。然而,如果理论实际上在大脑中发挥出来,它就是另一层 - 也许是一个极其基本的一层 - 与AI联系起来。这将是一个以前难以想象的收敛程度。

图片来源:Gerd奥特曼Pixabay.

范雪来是一位神经科学家出身的科学作家。她在不列颠哥伦比亚大学(University of British Columbia)完成了神经科学博士学位,在那里她开发了神经退化的新疗法。在研究生物大脑时,她开始对人工智能和所有生物技术着迷。毕业后,她搬到了加州大学旧金山分校,研究以血液为基础的因素,使衰老的大脑恢复活力。她是……

跟雪莉: