当Openai去年夏天发布了它的巨大的自然语言算法GPT-3时,下颚掉了下来。具有特殊访问早期API的编码器和开发人员迅速发现了新的(和意外)GPT-3可以与Naught但是提示。它写了可传递的诗歌,产生了不错的代码,计算简单的总和,以及一些编辑,宾夕法尼亚州的新闻文章。

事实证明,这一切,只是一个开始。在一个最近的博客更新OpenAI表示,成千上万的开发者正在GPT-3平台上开发应用程序。

超过300个应用程序使用GPT-3,算法生成4.5欧元每天给他们一个词。

显然,这是很多词。但是为了弄清楚到底有多少,我们先来做个简单的计算。

算法内容的即将到来的洪流

每个月,用户都发布WordPress上有7000万帖子这无疑是在线内容管理系统的主导地位。

假设一个平均文章是800字 - 在我的部分上猜测,但不是超长或短的人在WordPress上每月一个月或18亿个字的单词搅动。

如果我们的平均单词计数假设是在大致范围内,那么GPT-3产生超过两次WordPress Post的日常单词数。即使您每篇文章的平均更像是2,000个单词(这似乎很高)也是大致等同的。

现在,并非每个GPT-3都产生了一个值得读数的词,它不一定在生产博客帖子(更多关于下面的应用程序)。但在任何一种情况下,只有九个月,GPT-3的输出似乎预示着遗传算法内容的迫在眉睫的洪流。

GPT-3正在推动各种应用程序

那么,这些词到底是如何使用的呢?正如最初的热潮所表明的那样,开发者正在围绕GPT-3开发一系列应用程序。

可行的例如,在客户反馈 - 调查,评论和帮助台门票中的表面主题,例如 - 为旨在提高其服务的公司提供简短的摘要。寓言工作室通过gpt -3生成的对话将虚拟角色带入交互式故事中。和Algolia使用GPT-3为高级搜索工具供电。

开发人员使用“提示式编程”代替代码,向GPT-3提供一些他们希望生成的输出类型的示例。更高级的用户可以通过给出例子的算法数据集,甚至是人类反馈来对事物进行微调。

在这方面,GPT-3(以及其他类似算法)可能会加速机器学习在自然语言处理(NLP)中的应用。虽然机器学习算法的学习曲线以前是陡峭的,OpenAI表示,许多GPT-3开发者社区没有背景AI.或编程。

“这是与计算机合作的新界面,”Greg Brockman,Openai的首席技术官和联合创始人,告诉自然在本月早些时候的一篇文章中。

Ai的壁挂花园

Openai.将GPT-3授权给微软——谁投资了十亿美元以OpenAI作为回报这种伙伴关系- 但尚未公开发布代码。

该公司认为自己的机器学习产品有助于为其更大的使命提供资金。此外,他们说他们能够通过严格地将其与API进行访问来控制技术如何使用该技术。

例如,一个担忧是像GPT-3这样先进的自然语言算法可能会加剧网上的虚假信息。另一个原因是,大规模算法也包含内置的偏见,它需要大量的关注和限制其影响。

在初始狂热的高峰期,Openai Ceo Sam Altman在推特上“GPT-3的炒作太多了。这很令人印象深刻(谢谢你的赞扬),但它仍然有严重的缺点,有时会犯很愚蠢的错误。”

深入学习算法缺乏常识或情境意识。因此,当然,通过正确的提示,GPT-3很容易孵化在线丑陋,这是其培训数据集的一部分。

为了解决这些问题,OpenAI在授予GPT-3访问权之前对开发人员和应用程序进行审查。他们还为开发人员制定了指导方针,致力于开发识别和减轻偏见的工具,并要求流程和人员到位,监控应用程序的不良行为。

随着GPT-3标准的获得,这些保障措施是否足够还有待观察。

研究人员希望给算法一定程度的常识、对因果关系的理解和道德判断。华盛顿大学和艾伦人工智能研究所的计算机科学家Yejin Choi告诉记者:“我们今天拥有的本质上是没有大脑的嘴巴。自然。

只要这些品质仍然遥不可及,研究人员和GPT-3的人类操作者就必须努力工作,以确保收益大于风险。

Alt-AI: GPT-3的开源替代品

不是每个人都同意围墙的园林方法。

Eleuther,一个旨在为GPT-3制作开源竞争对手的项目,上周发布了最新的GPT-Neo。该项目在GPT-3上使用Openai的论文作为其算法的起点,正在培训由云计算公司Coreweave和Google捐赠的分布式计算资源。

他们还创建了一个称为桩的季节性策划训练数据集。Eleuther Cofounder Connor Leahy告诉《连线》杂志该项目在几个月内弥补了这个数据集的长度,确保它既良好过滤和多样化,并记录其缺点和偏见。“

根据“GPT-Neo的表现无法匹配GPT-3,但根据GPT-3的最低先进版本《连线》杂志同时,其他开源项目也在作品中。

“目前正在为开源NLP提供巨大的兴奋,并为大科技公司以外的有用模型生产,”说亚历山大·拉什,康奈尔大学计算机科学教授。“NLP空间竞赛有类似的东西。”

开放源码的风险仍然存在:一旦代码投入使用,就没有回头路了,无法控制如何使用它。

但拉什认为,公开开发算法可以让大公司之外的研究人员毫无保留地研究它们,并解决问题。

新命令行

不管开源与否,GPT-3都不会孤单太久。例如,大脑最近宣布了他们自己的巨大的自然语言模型,有1.6万亿参数。

在一个最近的Tech Crunch文章艾伦·艾美州艾伦省Iditute的首席执行官Oren Etzioni编写了他们期望GPT-3和增加其他大规模的自然语言算法,以带来更多的可访问性和降低成本。

特别是,他们看到“及时编程”作为重要转变。

文字,etzioni和mcilwain写道,可能越来越成为新的命令行,一个允许“无附庸”挖掘机器学习的普遍翻译,并为生活带来新的想法:“我们认为这将赋予全新的创造者,以触发为单位的万亿参数,以一种完全低码/无代码方式。“

机器,它似乎是,即将得到一个可怕的巧克力。我们已经让我们的工作削减了我们,以确保对话的意义。

图片来源:埃米尔Widlund/uns

杰森正在管理奇点集线器的编辑。188金宝搏app1.1.94他在科学和技术前进行了关于金融和经济学的研究和写作。他很好奇几乎所有东西,悲伤,他只知道一小部分一切。