OpenAI的GPT-3的前景和不足

发布时间：2020-07-27 10:42:34 【来源：】

我通常认为夏天的狗日是新闻放慢的时候。通常情况下，很多人请假，而休假导致当地新闻台报道一些无关紧要的事情，例如猫咪表演或小松鼠上的小松鼠。但是，这不是典型的时期。

Facebook继续面临偏见和歧视问题的影响，多家新闻媒体报道称，Instagram的内容审核算法标记和禁用黑人用户的可能性比白人用户高50%。Facebook和Instagram现在正在创建团队，研究算法如何影响Black和Latinx用户以及其他特定群体的用户的体验。

同样在本周：来自亚马逊，谷歌和微软的高管向华盛顿的领导人提供了30多项建议，以帮助美国在人工智能领域保持领先于其他国家。建议包括为将要从事政府兼职工作的预备役军人招募AI从业人员，以及为美国政府创建一个认可的学院来培训AI人才。

但是可以说，本周最大的故事是GPT-3的beta版本，GPT-3是一种语言模型，能够执行多种任务，例如摘要，撰写文章的文本生成和翻译。经过专门测试以分析GPT-3的测试发现，它还可以完成许多其他任务，例如解读单词和使用仅在句子中定义一次的单词。

最近几周，OpenAI扩展了对API和语言模型的访问，其中包含1,750亿个参数，这些参数在网络上的文本语料库中进行了训练，其中包括大约一万亿个单词。诸如可根据自然语言描述创建代码的布局生成器之类的应用引起了广泛的关注，用于回答人们的问题或创建美国历史测试问题和答案的应用也受到了广泛的关注。识别现实世界对象之间关系的生成器提供了潜在的应用程序，以帮助机器人或其他形式的AI更好地了解世界。一位GPT-3早期用户感到他与上帝和存在进行了交谈，而宇宙是如此深刻：“阅读本书后您将成为另一个人。”特别涌出彭博社的标题为“人工智能是2020年的希望”的故事表明，GPT-3最终可能成为2020年最大的新闻故事之一。

关于GPT-3发行的一些讨论也提出了一个问题，即为什么OpenAI似乎比GPT-2看上去更不关心共享更大的GPT-3，这是一种有争议的模型，由于其潜在的负面影响，OpenAI最初选择不公开共享对诸如假新闻传播之类的影响。

大型语言模型的发布时间与OpenAI的更广泛的业务计划一致。就上下文而言，GPT-2发布是在OpenAI改变其业务结构并创建一家营利性公司的一个月之前。在引入OpenAI API使其AI商业化之前不到两周，GPT-3就发布了。

艾米莉·班德(Emily Bender)是一名教授，语言学家，也是华盛顿大学NLP小组的成员。上个月，她与人合着的一篇关于GPT-3等大型语言模型的论文认为，围绕此类模型的炒作不应误导人们相信该语言模型具有理解能力或含义。该论文获得了计算语言学协会会议的奖项。

该论文读到：“虽然大型神经语言模型很可能最终成为人类对自然语言理解的最终全面解决方案的重要组成部分，但它们几乎不是解决这一巨大挑战的解决方案。”

Bender尚未亲自测试过GPT-3，但她说，从她看来，这是令人印象深刻的，但其架构与GPT-2大致相同。主要区别在于它的规模。

她说：“它既闪闪发亮，又大又浮华，无论从整体上还是在带来的风险上，都没有什么不同。”“我认为所谓的人工智能方法存在一个基本问题，该方法所依赖的数据集大于人类实际可以手动验证的数据集。”

在一些由早期访问用户产生的OpenAI免费宣传中，有一些例子表明了其可预测的偏见。Facebook AI负责人Jerome Pesenti发现了AI产生的一系列负面言论，这些负面言论旨在产生针对黑人，犹太人和女性的人性化推文。当然，这不足为奇。5月下旬发表的论文中进行的测试发现，GPT-3表现出性别偏见，最有可能给亚洲人带来较高的情感分析，而给黑人带来较低的情感分析得分，尤其是在较小版本的模型中。OpenAI分析还显示了特定任务的缺点，例如上下文中的词分析(WiC)和RACE，这是一组中学和高中的考试题。

今年早些时候的测试发现，许多受大型数据语料库训练的流行语言模型，例如Google的BERT和GPT-2，都表现出几种形式的偏见。华盛顿大学(University of Washington)教授自然语言处理(NLP)伦理课程的本德尔(Bender)说，没有诸如无偏见的数据集或无偏见模型之类的东西，即使精心创建的语言数据集也可能带有更微妙的偏见形式。但是她坚持认为一些最佳实践可以减少大数据集中的偏差。

一位发言人说，OpenAI正在实施Beta测试作为一种保障措施，这可能有助于发现问题，并补充说该公司正在对GPT-3使用毒性过滤器。发言人拒绝透露有关过滤器可能完成的工作的更多信息，但表示将在未来几周内分享更多细节。

可以理解的是，GPT-3在某些人中引起了惊奇，因为它似乎更接近于通用模型的思想，该模型只需少量训练数据样本就几乎可以完成任何事情。OpenAI首席执行官山姆·奥特曼(Sam Altman)发推文说，他向GPT-3展示了一个10岁的男孩，他在几秒钟内说他想进入AI领域。

但奥特曼(Altman)在周日的一条推文中也表示：“ GPT-3的宣传太多了。令人印象深刻(感谢您的赞美!)，但仍然存在严重的弱点，有时还会犯非常愚蠢的错误。人工智能将改变世界，但是GPT-3只是很早的一瞥。我们还有很多事情要解决。”

OpenAI论文说，表征模型某些属性的方法是受到Google AI伦理研究人员创建的用于模型报告方法的模型卡的启发。

除了需要采用数据表或数据语句来更好地理解数据集的内容外，Bender还强调，在NLP领域还需要进行更多测试，才能真正理解模型何时显示出对理解或应对其他重大挑战的模型。

“最近在文化上发生了什么……在NLP中，在过去大约10到15年中，一直非常重视评估模型和模型构建，而分配给评估度量，任务设计和注释的唯一价值是[a]附属于模型制作，以允许模型制作者展示他们的模型有多好。”她说。“那是一种不平衡的情况，我们无法做好科学。我希望我们将看到科学其他部分的价值越来越高，这并不是说我们已经完成了模型的建立。我敢肯定，还有更多的研究要做，但是如果我们无法对模型进行有意义的测试，那么我们就无法在模型构建方面取得有意义的进展，如果模型没有价值，我们就无法对模型进行有意义的测试。。”

上一篇：Adobe的通用相机应用程序捕获了Android-iOS的双头垄断
下一篇：让你的在线业务启动和运行与7个伟大的交易