近年来,在科技界出现了一种说法:人工智能就是新型电力。这句陈词滥调指的是人工智能的颠覆性力量,它推动了方方面面的进步运输预测天气

当然,支持人工智能复杂算法的计算机和数据中心在很大程度上依赖电力。虽然这似乎是显而易见的,但我们可能会惊讶地发现,人工智能可能非常耗电,尤其是在训练模型时,让机器能够在照片中识别你的脸,或让Alexa理解语音命令。

这个问题的严重程度难以衡量,但已经有人试图用确切的数字来说明环境成本。

例如,一个发表在开放存取库arXiv上的文章声称,训练一个基本的自然语言处理(NLP)模型——处理和理解基于语言的数据的算法——所产生的碳排放量等于美国人平均生活方式两年所产生的二氧化碳。一个更稳健的模型需要相当于17年的排放量。

作者指出,大约十年前,NLP模型可以在普通的商用笔记本电脑上完成这项工作。如今,更复杂的AI模型使用的是图形处理单元(gpu)等专门的硬件,这是英伟达(Nvidia)在游戏领域推广的一种芯片技术,也被证明能够支持AI的计算任务。

非营利研究机构OpenAI是由科技先知和投机商埃隆·马斯克共同创立的计算能力自2012年以来,“用于最大的人工智能训练的跑步时间呈指数增长,增长了3.4个月,翻了一番”。那是gpu开始进入人工智能计算系统的时候。

在人工智能芯片设计上变得更聪明

虽然英伟达(Nvidia)的gpu如今仍是人工智能硬件的黄金标准许多创业公司已经出现,挑战了该公司的行业主导地位。许多公司正在制造更像人类大脑工作的芯片组,这一区域被称为神经形态计算

这一领域的领军企业之一是Graphcore,一家英国初创公司筹集了超过4.5亿美元其估值高达19.5亿美元。该公司的GPU版本是IPU,即智能处理单元。

为了构建一个更接近人类的计算机大脑,Graphcore的大大脑绕过了传统微处理器典型的精确但耗时的数字运算,而只满足于不那么精确的运算。

结果本质上是一样的,但是IPUs完成工作要快得多。Graphcore声称它是能够培养流行的BERT NLP模型只用了56个小时,同时吞吐量增加了两倍,延迟减少了20%。

一个篇文章中彭博将这种方法与“人类大脑从计算餐馆的精确GPS坐标转变为仅仅记住它的名字和邻居”进行了比较。

Graphcore的硬件架构也具有更多的内置内存处理功能,提高了效率,因为不需要在芯片之间来回发送同样多的数据。这与意大利的一组研究人员最近发表的一篇文章中所采用的方法相似关于一个新的计算电路。

这种新电路使用一种称为记忆电阻的设备,它可以在一次操作中执行称为回归的数学函数。该方法试图通过直接在记忆中处理数据来模拟人类大脑。

达尼埃尔·埃尔米尼(Daniele Ielmini),米兰理工大学(Politecnico di Milano)科学的进步纸,告诉188金宝搏app1.1.94内存计算的主要优点是没有任何数据移动,这是传统数字计算机的主要瓶颈,以及并行处理数据,使存储阵列内各种电流和电压之间的密切交互成为可能。

Ielmini解释说,内存计算可以“对人工智能的能源效率产生巨大影响,因为它可以通过内存电路中的物理计算加速非常高级的任务。”他补充说,为了在能源效率和时间上实现巨大飞跃,在硬件设计上需要这种“激进的想法”。

这不仅仅是硬件问题

强调设计更高效的芯片架构可能表明,人工智能的能量饥渴本质上是一个硬件问题。艾尔米尼指出,事实并非如此。

他说:“我们相信,在算法和数据集水平上,类似的突破可以取得重大进展。”

他不是唯一这样做的人。

高通人工智能研究实验室的关键研究领域之一是能效。Max Welling,高通技术研发部门的副总裁,已经关于更节能的算法的需求。他甚至提出,人工智能算法将以每焦耳所提供的智能量来衡量。

Welling写道,一个正在研究的新兴领域是贝叶斯深度学习在深度神经网络中的应用。

这些都是非常令人兴奋的东西,很容易成为博士论文的主题。在这种情况下需要理解的主要事情是贝叶斯深度学习是另一种尝试,通过将随机值引入神经网络来模拟大脑如何处理信息。贝叶斯深度学习的一个好处是,它压缩和量化数据,以降低神经网络的复杂性。反过来,这减少了识别狗是狗所需的“步数”,也减少了获得正确结果所需的能量。

橡树岭国家实验室的一个团队已经以前了另一种提高人工智能能源效率的方法是将深度学习神经网络转换为所谓的脉冲神经网络。研究人员通过引入像贝叶斯深度学习这样的随机过程来增加随机值,从而提高了他们的深度spike神经网络(DSNN)。

DSNN实际上是模仿神经元与突触相互作用的方式,突触在脑细胞之间发送信号。网络中的单个“峰值”指示在何处执行计算,降低了能耗,因为它忽略了不必要的计算。

该系统正被癌症研究人员用来扫描数百万份临床报告,以发掘疾病的病因和治疗方法。

帮助战胜癌症只是我们未来可能从人工智能中获得的众多回报之一,只要这些算法的好处大于使用它们的成本。

“让人工智能更节能是一个首要目标,它涵盖了算法、系统、架构、电路和设备等领域,”Ielmini说。

图片来源:analogicusPixabay

彼得曾是世界上唯一一位报道南极研究的全职记者,2015年成为一名自由撰稿人和数字游牧民。彼得在过去十年的工作重点是科学新闻,但他的兴趣和专长包括旅行、户外活动、骑自行车和享乐主义(食物和啤酒)。关注他@poliepete。

跟随彼得: