如果AI对2020的任何话说,那就是“你无法触摸这一点”。

去年,人工智能可能切断了我们与现实世界的联系,但在数字领域,人工智能蓬勃发展。取NeurIps它是人工智能会议的皇冠上的明珠。虽然没有不列颠哥伦比亚省令人眼花缭乱的山脉或巴塞罗那的海滩这样的通常背景,一年一度的人工智能盛会突出了一系列“大图”问题——偏见、健壮性、泛化——这些问题将会在未来几年笼罩这个领域。

另一方面,科学家们进一步探索了人工智能和我们身体的交集。深度学习的核心概念,如反向传播,被认为是我们的大脑在生物网络中“分配错误”的一种貌似合理的方式——允许大脑学习。其他人认为这是双队智能的很大时间,将regning ai“金色的孩子”方法 - 深入学习 - 与其他方法相结合,例如指导有效搜索的方法。

这里有四个领域,我们在2021年保持眼睛。他们触及了优秀的AI问题,例如降低能源消耗,尼西需要旺盛的学习举例,以及教导AI一些好的Ole'常识。

贪婪:一次学习不到

这句话你已经听过无数遍了:深度学习非常贪婪,因为算法需要成千上万(如果不是更多的话)的例子来展示基本的学习迹象,比如识别一只狗或一只猫,或者向Netflix或亚马逊推荐。

它非常耗时,浪费能量,而且令人费解,因为它与我们人类的学习经验不符。蹒跚学步的孩子只需要看几个例子,就可以终生记住它。以“狗”的概念为例——不管它是什么品种,一个见过几只狗的孩子不用亲眼看到就能认出许多不同品种的狗。现在我们来看看完全陌生的东西:独角兽。一个理解马和独角鲸概念的孩子,可以通过结合这两者来推断独角兽的样子。

在AI说,这是“不到一次性学习是一种类似圣杯的能力,它可以让算法学习更多的对象,而不是训练的样本数量。如果这一设想得以实现,其影响将是巨大的。目前庞大的算法可能会顺利运行在移动设备上较低的处理能力。任何形式的“推断”,即使没有真正的理解,也可以使自动驾驶汽车在我们这个充满物体的世界中更有效地导航。

去年,加拿大的一支球队建议目标不是管道梦想。从麻省理工学院分析手写数字 - 计算机视觉中的常见“玩具问题”的建立 - 他们使用称为“软标签”的概念将60,000张图像蒸馏成5个图像。它们标记了每个数字,而不是指定每个数字应该是什么样的,而不是指定每个数字 - 例如,“3”或“3”或“8”或“0”的百分比。令人震惊地,团队发现,对于仔细建造的标签,理论上只有两个示例可以编码数千个不同的物体。凯伦昊at.麻省理工学院技术评论更详细的介绍这里

脆性:一种防止AI被黑客攻击的方法

不管人工智能能做什么,它在防御针对其输入数据的潜在攻击方面都有缺陷。对数据集的轻微或看似随机的干扰(通常是肉眼无法检测到的)可以极大地改变最终的输出结果,这被称为算法的“脆弱”。太抽象了?人工智能经过训练,能够从人类医生用黄色标记标记的大量医学扫描中识别癌症,可以学会将“黄色”与“癌症”联系起来。“一个更恶意的例子是恶意篡改。贴在路上的贴纸能欺骗特斯拉的自动驾驶仪系统将车道和Careen误入迎面而来。

脆性要求AI学习一定程度的灵活性,但破坏 - 或“对抗攻击” - 是一个越来越认识的问题。在这里,黑客可以使用仔细制作的输入改变AI的决策过程。当涉及网络安全,医疗诊断或其他高赌注使用时,对这些攻击的建立防御系统至关重要。

今年,来自伊利诺伊大学的一个团队提出了这个建议一种强大的方式使深度学习系统更具弹性。他们使用了一种迭代的方法,让两个神经网络展开一个用于图像识别,另一个神经网对抗对抗性攻击。像猫和鼠标游戏一样,“敌人”神经网络试图愚弄计算机视觉网络,以识别虚构的东西;后者网络反击。虽然远非完美,但该研究突出了一种越来越流行的方法,使AI更具弹性和值得信赖。

AI学者综合症:学习常识

今年最令人印象深刻的算法之一是GPT-3这是OpenAI创造的奇迹,它能吐出类似人类的怪异语言。被称为“有史以来最有趣、最重要的人工智能系统之一GPT-3是一种算法的第三代,这种算法产生的文字非常“自然”,乍一看很难从人类中破译机器。

然而,在更深入的检查时,GPT-3的语言能力只是一个薄薄的“智慧”。因为它训练在人类语言上,它也锁定了我们日常短语的复杂性和局限性 - 没有任何了解他们在现实世界中的意思。它类似于从都市词典而不是生活它来学习俚语。AI可能会在所有情况下学会用“猫和狗”将“雨”与“猫和狗”联系起来,从普通的白话描述巨大的下雨中获得其推断。

制作GPT-3或任何自然语言AI更智能的一种方法是将其与计算机视觉相结合。教学语言模型“看到”是AI研究中越来越受欢迎的地区。该技术与图像相结合了语言的强度。AI语言模型(包括GPT-3),通过一个名为“无监督培训”的过程学习,这意味着它们可以在没有明确标签的情况下解析数据中的模式。换句话说,他们不需要人类来告诉他们语法规则或者单词如何彼此相关,这使得通过用大量示例文本轰击AI来缩放任何学习。另一方面,图像模型更好地反映了我们的实际现实。但是,这些需要手动标签,这使得过程更慢,更繁琐。

将两者结合起来,就能达到两全其美的效果。一个能够“看到”世界的机器人能够捕捉到一种物理特征——或常识——这是单靠分析语言所缺乏的。2020年的一项研究巧妙地结合了这两种方法。他们从语言开始,使用一种可伸缩的方法,基于GPT-3的内部工作原理(细节这里)。这个团队的结论是,他们能够将物理世界——通过图像——与我们如何描述世界的语言联系起来。

翻译吗?一个盲、聋、完全隔离的人工智能学会了某种常识。例如,“猫和狗”可能只是指宠物,而不是雨。

这个技巧在很大程度上还处于实验阶段,但它是一个跳出特定人工智能领域的人工界限进行思考的例子。通过结合自然语言处理和计算机视觉这两个领域,它可以更好地工作。想象一个有常识的Alexa。

深度学习疲劳

说到创新思维,DeepMind是尝试将不同的人工智能方法组合成更强大的东西的公司之一。取MuZero,他们在圣诞节之前发布的Atari-Smashing算法。

与DeepMind最初的围棋、扑克以及能杀出国际象棋的AI巫师不同,MuZero还有另一个妙招。它不听取任何人的意见,因为AI一开始并不是基于之前的游戏知识或决策过程。相反地,它在没有规则手册的情况下学习,而是观察游戏的环境——类似于新手观察新游戏。通过这种方式,在经历了数百万次游戏后,它不仅学会了规则,还学会了更普遍的政策概念,这可能会引导它走在前面,并在事后评估自己的错误。

听起来很有人情味,是吧?用人工智能的术语来说,工程师们结合了两种不同的方法——决策树和一个学习过的模型,使人工智能在规划制胜棋方面非常出色。目前,它掌握的游戏水平仅与AlphaGo类似。但我们已经迫不及待地想看看人工智能领域的这种思想交叉融合会在2021年带来什么。

图像信用:奥列格GamulinskiyPixabay

Shelly Xuelai Fan是一个神经科学家转向科学作家。她在不列颠哥伦比亚省大学的神经科学中完成了博士学位,在那里她开发了新的神经变性治疗方法。在研究生物脑的同时,她对AI和所有东西都很着迷。毕业后,她搬到了UCSF,研究了恢复老年大脑的基于血液的因素。她是 ...

跟雪莉: