八年前机器学习算法学会了识别一只猫- 它震惊了这个世界。几年后,AI可以准确翻译语言并取下世界冠军去球员。现在,机器学习已经开始在复杂的多人视频游戏中开始如星形争霸和dota 2和像扑克一样微妙的游戏。艾,它会出现,快速改善。

但是快速快,而且什么驾驶节奏?虽然更好的电脑芯片是关键,但AI研究组织Openai认为我们应该衡量实际机器学习算法的改进步伐。

在一个博客帖子—authored by OpenAI’s Danny Hernandez and Tom Brown and published on the arXiv, an open repository for pre-print (or not-yet-peer-reviewed) studies—the researchers say they’ve begun tracking a new measure for machine learning efficiency (that is, doing more with less). Using this measure, they show AI has been getting more efficient at a wicked pace.

为了量化进度,研究人员从2012中选择了基准图像识别算法(AlexNet),并跟踪了计算电源较新算法以匹配或超过基准测试的计算能力。他们发现算法效率每16个月加倍,超越摩尔定律。图像识别AI在2019年需要44倍的计算能力来实现亚历尼网类似的性能。

Teraflops / S-Days中的计算总数为培训到alexNet级别性能。任何给定时间的最低计算点以蓝色显示。测量的所有点以灰色显示。图像和标题:Openai.

虽然数据点较少,但作者发现了在其他流行能力中更短的时间内更快的改进率,例如翻译和游戏。

例如,Transformer算法占据了31倍的计算能力,以超越三年以后的英语发布到法语翻译的SEQ2Seq算法。DeepMind的Alphazero需要八次计算,以匹配AlphaGozero在一年后的alphagozero。和Openaai五重演使用了五倍的计算能力,以在三个月后在Dota在Dota 2击败世界冠军拍摄的Openai五。

摩尔学习的摩尔法

为什么跟踪算法效率?作者称,三个输入在机器学习中的进展:可用的计算能力,数据和算法创新。计算能力更易于跟踪,但算法的改进有点滑。

在机器学习中是否有一种算法摩尔定律?可能是。但是,根据作者,还没有足够的信息来说。

他们的工作只包括一些数据点(原始摩尔的法律图表同样有很少的观察结果)。所以任何外推纯粹是投机。此外,本文侧重于少数流行能力和顶级节目。如果观察到的趋势可以更广泛地推广,则目前尚不清楚。

也就是说,作者说,这项措施实际上可能低估进展,部分原因是它隐藏了对实际不切实际的初步飞跃。它将达到基准的初始能力的计算能力 - 例如,图像识别 - 用于现有方法的亚历尼网将如此大的是不切实际的。效率提升到基本上从零到一个,那么,将是惊人的,但没有占这里。

作者还指出了其他现有的算法改进措施,这取决于您希望学习的内容。总的来说,他们说,跟踪多种措施 - 包括硬件中的措施 - 可以画出更完整的进展情况,并帮助确定未来的努力和投资将最有效的地方。

AI的未来

值得注意的是,这项研究侧重于深度学习算法,目前主导的AI方法。深度学习是否继续取得这种戏剧性进步是AI社区的辩论来源。一些领域的顶级研究人员质疑深入学习的长期潜力,解决领域的最大挑战

在A.早些时候的纸张,Openai显示出最新的标题 - 抓住AIS需要培训的计算能力相当令人震惊的计算能力,并且所需的资源正在以Torrid速度增长。虽然2012年之前的AI计划使用的计算能力的增长率很大程度上跟踪了Moore Law,但自2012年以来的机器学习算法使用的计算能力速度快7倍,而不是摩尔定律。

这就是为什么oponai有兴趣跟踪进度。例如,如果机器学习算法达到培训越来越昂贵,则对学术研究人员增加资金是很重要的,因此他们可以跟上私人努力。如果效率趋势证明一致,它将更容易预测未来的成本和计划投资。

是否进展持续不减,摩尔定律是多年来来的或很快击中墙壁仍有待观察。但随着作者写的,如果这些趋势正在继续进入未来,AI仍然会变得更加强大,也许比我们想象的更快。

图像信用:弗兰基洛佩兹/uns

杰森正在管理奇点集线器的编辑。188金宝搏app1.1.94他在科学和技术前进行了关于金融和经济学的研究和写作。他很好奇几乎所有东西,悲伤,他只知道一小部分一切。