深度学习正在推动一些惊人的新功能,但我们发现很难仔细检查这些算法的工作原理。人工智能中缺乏可解释性是一个普遍关注的问题许多人正试图解决这个问题,但真的有必要知道这些“黑盒”里发生了什么吗?

在最近的一次角度为科学卡耐基梅隆大学(Carnegie Mellon University)材料科学与工程教授伊丽莎白·霍尔姆(Elizabeth Holm)为黑匣子算法辩护。我上周联系了她,想了解更多情况。

Edd Gent:你对黑盒算法有什么经验?

伊丽莎白河中沙洲:我获得了材料科学与工程和科学计算的双学位。我大约在六年前进入学术界,我想做的部分事情是,让我的计算机科学领域焕然一新,重新焕发活力。

我意识到计算机科学已经完全改变了。它曾经是关于算法和代码快速运行,但现在是关于数据和人工智能。还有一些可解释的方法,比如随机森林算法,我们可以从中得知机器是如何做出决策的。然后是黑盒方法,比如卷积神经网络

偶尔我们可以找到一些关于它们内部运作的信息,但大多数时候我们必须接受它们的答案,并在边缘探索,找出我们可以使用它们的空间,以及它们有多可靠和准确。

是什么让你觉得你必须为这些黑盒算法辩护?

嗯:当我开始和我的同事们交谈时,我发现这些算法的黑盒本质对他们来说是一个真正的问题。我可以理解,因为我们是科学家,我们总是想知道为什么和如何。

这让我有点逆向思维,“是黑盒都是坏?我们必须拒绝他们吗?”当然不会,因为人类的思维过程就像一个黑匣子。我们常常依赖于人类的思维过程,而这些思维过程是思想家无法解释的。

看起来我们要被这些方法困住一段时间了,因为它们真的很有帮助。他们做了令人惊奇的事情。所以有一个非常实用的认识,这些是最好的方法,我们必须做一些真正重要的问题,我们现在还没有看到可解释的替代方法。我们必须使用它们,所以我们最好想办法。

你认为在什么情况下我们应该使用黑盒算法?

嗯:我想出了三条规则。最简单的规则是:当一个坏决定的代价很小而一个好决定的价值很高时,它是值得的。我在文中给出的例子是有针对性的广告。如果你发送一个没有人想要的广告,它不会花很多钱。如果你是接收方,处理掉它不会花很多钱。

在某些情况下,成本很高,我们会选择黑盒如果这是最好的选择。事情在这里变得有点棘手,因为我们不得不问“错误决定的代价是什么,我们真的有它们的全部特征吗?”我们也必须非常小心地知道我们的系统可能存在偏差,它们可能在你可以应用它们的地方有局限性,它们可能是易碎的。

但与此同时,在某些领域,我们肯定会对这些系统进行广泛的测试,从而了解它们在几乎所有情况下的性能。如果他们的表现比其他方法好,我们就需要这样做。自动驾驶汽车就是一个重要的例子——几乎可以肯定的是,它们将不得不使用黑盒方法,而且它们最终将成为比人类更好的司机。

第三条规则对我这个科学家来说更有趣,在这种情况下,黑盒真正启发我们以一种新的方式看待事物。我们已经训练了一个黑匣子来从断裂表面的图片上识别断裂金属的断裂能量。它做得很好,人类做不到,我们也不知道为什么。

电脑似乎看到的是噪音。噪音中有一个信号,要找到它是非常困难的,但如果我们找到了,我们可能会发现一些对断裂过程有重要意义的东西,那将是一个了不起的科学发现。

你是否认为对可解释性的强调太多了?

嗯:我认为可解释性问题是一个基本的,吸引人的计算机科学大挑战,有一些重要的问题我们需要有一个可解释的模型。但我想说的不是太强调可解释性,而是太轻视不可解释的模型。

我认为,当前围绕着一些非常糟糕的黑盒结果的一些社会和政治问题让人们相信,所有的机器学习和人工智能都应该是可解释的,因为这将以某种方式解决这些问题。

要求人类解释他们的理论基础并没有消除偏见,或刻板印象,或人类糟糕的决策。过多地依赖于可解释性可能会将获得更好结果的责任置于错误的位置。我可以制作一个更好的黑盒而不需要知道第一个黑盒在哪里是坏的。

展望未来,你认为会不会出现人类不得不依赖黑盒算法来解决我们无法理解的问题的情况?

嗯:我确实这么认为,而且这并没有我们想象的那么夸张。例如,人类不再设计计算机芯片的电路地图。我们已经很多年没有见面了。它不是设计这些电路板的黑盒算法,但我们早已放弃尝试理解一个特定的计算机芯片的设计。

由于每个计算机芯片上都有数十亿个电路,人类的大脑无法包含这些电路,无论是在范围上还是在追踪每个电路所需的纯粹时间上。在某些情况下,我们需要一个非常复杂的系统,只有计算机拥有的耐心和在高维空间工作的能力才能做到这一点。

因此,我们可以继续讨论可解释性,但我们需要承认,我们将需要使用黑盒。这是我们进行尽职调查的机会,来了解如何负责任地、合乎道德地使用它们,并带来好处而不是坏处。这不仅是一个科学话题,也是一个社会话题。

*回复根据长度和风格进行了编辑

图片来源:Chingraph/Shutterstock.com

我是一名自由科技作家,住在印度班加罗尔。我的主要兴趣领域是工程学、计算机和生物学,尤其关注这三者之间的交叉点。

遵循Edd: