为今天的人工智能提供动力的神经网络非常强大,但训练它们需要整个服务器群和大量的能量。IBM提出了一种新方法年代我们可以通过减少用于执行计算的比特数来急剧削减这一点。

比特是计算机中最基本的信息单位电脑并且可以存在于两种状态中的一种——1或0,on或off。然而,许多计算机必须处理的数字都比1或0大得多,所以计算机将多个位放在一起来表示它们。您可能已经注意到,许多软件被描述为32位或64位。这只是告诉你它使用多少位来编码它处理的每个数据块。

你使用的比特越多,那块数据就越精确。最简单的方法就是考虑如何处理数字。如果您试图用64位计算机对Pi编码,那么您可以将其扩展到比32位计算机多许多倍的小数位数。

对于那些必须处理非常大或非常小的数字的程序,比如那些在超级计算机上模拟气候或量子物理的程序,这种额外的精度可能非常有用。即使是在消费类电脑上,它也可以用于更复杂的任务,如视频编辑或游戏。

但并不是所有东西都需要以如此高的精度运行,包括神经网络。虽然深度学习的标准数据大小仍然是32位的,但用16位运行神经网络正变得越来越普遍。一个大量的研究表明,通过精心的设计,您可以在不影响精度的情况下降低成本。

这是非常可取的,因为较低精度的数据需要更少的内存和带宽,这可以加快计算速度并减少执行操作所需的能量。对于汽车行业来说,这可能是一个重大利好,因为该行业的大部分成就都是通过制造更大、更耗电的车型而获得的。

N来自IBM的研究人员将这一趋势发挥到了极致。在一个提出at.著名的人工智能会议神经系统,研究者年代表明他们可以培训AI以仅使用有限的损失来解决各种图像和语言任务四个位。这使他们能够将训练过程加快7倍以上。

研究人员必须解决的主要挑战是不同的部分年代在非常不同的尺度上与数字交易的神经网络。虽然神经元之间的重量通常在-1的一定程度上是一些小数在其他地方,您可以得到高达1000或低至0.001的值。

这是一个问题,因为您需要想出一种方法,使用您的4位数据方案所提供的16个自由度来表示大小相差很大的数字。任何可以覆盖1000到0.001范围的系统在处理-1到1之间的数字时都不可避免地会失去精度。

研究人员的解决方案是使用对数标度,这是一种表示大范围数值的常用数学工具。在这些尺度上,数字并不以相等的增量递增,而是每次以一定的倍数递增,最常见的倍数是10。年代o标准的线性尺度是“1,2,3”,而对数尺度是“1,10,100”。

在这种情况下,研究人员使用了四个尺度。但重要的是,它们还使用了一个自适应缩放技术,使它们能够将此对数刻度重新改写到网络的不同部分,该数量在不同的值范围内运行。

这导致了一个巨大的加速,可以显著削减能量、计算能力和训练神经网络所需的时间。这将使资源有限的学者们有可能构建出类似于康柏公司的巨型模型比如谷歌和OpenMind,甚至在智能手机等边缘设备上训练神经网络。

但是有一个主要的警告。T他的研究是在模拟中完成的,而不是在真正的芯片上,因为四个-少量人工智能芯片还不存在。研究负责人Kailash Gopalakrishnan告诉麻省理工学院科技评论但是,他们正在路上,IBM应该有四个-位硬件在三到四年内准备好。

他们也不是唯一在解决这个问题的人。大多数打造专用人工智能硬件的公司都在忙着提高芯片的低精度能力。人工智能的未来似乎越来越模糊。

图像信用:PexelsPixabay.

我是一名自由科技作家,住在印度班加罗尔。我的主要兴趣领域是工程学、计算机和生物学,尤其关注这三者之间的交叉点。

遵循Edd: