OpenAI庞大的GPT-3模型令人印象深刻但大小并不是全部

上周，OpenAI发表了一篇详细介绍GPT-3的论文，GPT-3是一种机器学习模型，在许多自然语言基准测试中均取得了不错的成绩。在1750亿个参数中，参数在整体预测中会影响数据的重要性，这是同类中最大的。内存容量超过350GB，是最昂贵的内存之一，培训成本估计为1200万美元。

拥有超过350GB内存和1200万美元计算信用的系统对于OpenAI来说并非难事，OpenAI是一家资本雄厚的公司，与Microsoft合作开发了AI超级计算机。但这可能超出了诸如Agolo之类的AI初创公司的能力，后者在某些情况下缺乏所需的资金。对他们来说幸运的是，专家们认为，尽管GPT-3和类似的大型系统在性能方面令人印象深刻，但它们并没有推动方程式的研究。相反，它们是声望卓著的项目，仅演示了现有技术的可伸缩性。

加州大学洛杉矶分校(UCLA)计算机科学助理教授盖伊·范登·布罗克(Guy Van den Broeck)通过电子邮件对VentureBeat表示：“我认为，最好的比喻是某个富油国家能够建造一个很高的摩天大楼。”“当然，要花费很多钱和工程上的精力来建造这些东西。您确实会在建造高层建筑时获得“最先进的技术”。但是……本身没有科学的进步。没有人会担心美国正在失去建造大型建筑物的竞争力，因为有人愿意为这个问题投入更多的资金。……我相信学者和其他公司将很乐意在下游任务中使用这些大型语言模型，但我认为它们不会从根本上改变人工智能的发展。”

确实，前Google Brain团队的居民丹尼·布里茨(Denny Britz)认为，没有与OpenAI，DeepMind和其他资金雄厚的实验室相匹配的计算能力的公司和机构非常适合其他潜在的更重要的研究任务，例如调查模型之间的相关性尺寸和精度。实际上，他认为这些实验室缺乏资源可能是一件好事，因为它迫使他们深入思考为什么某些方法可行并提出替代技术。

Britz说：“将有一些只有[科技巨头可以做的研究，但是就像在[并不是每个人都有自己的粒子加速器]的物理学中一样，还有很多其他有趣的工作。”“我认为这不一定会造成任何不平衡。小型实验室并不会带来机会。它只是增加了其他方面不会发生的研究角度。……局限性激发了创造力。”

OpenAI是一个对立面。长期以来，人们一直认为，巨大的计算能力与强化学习相结合是迈向AGI或AI的必经之路，AGI可以学习人类可以完成的任何任务。但是，像Mila创始人Yoshua Bengio和Facebook副总裁兼首席AI科学家Yann LeCun这样的名人认为，无法创建AGI，这就是为什么他们提倡采用自我监督学习和神经生物学启发的方法来利用高级语义语言的技术变量。也有证据表明，效率的提高可能会抵消不断增长的计算需求。OpenAI自己的调查这表明自2012年以来，将AI模型训练为在流行基准(ImageNet)中对图像进行分类的相同性能所需的计算量每16个月减少了两倍。

GPT-3论文也暗示了仅在AI问题上投入更多计算的局限性。尽管GPT-3可以轻松完成从生成句子到在各种语言之间进行翻译的任务，但它的执行效果要好于进行测试(对抗自然语言推理)的机会，而这种测试却需要发现句子之间的关系。作者承认：“本文描述的通用方法的一个更根本的[缺点]-扩大任何...模型-最终可能会(或可能已经)陷入[技术]的局限。”

Britz继续说道：“各个子领域的最新技术(SOTA)结果正变得越来越密集，这对于那些不在大型实验室之一工作的研究人员来说并不是一个好消息。”“追逐SOTA是一种不好的做法，因为存在太多混杂变量，SOTA通常并不意味着任何东西，科学的目标应该是积累知识，而不是特定玩具基准中的结果。已经采取了一些改进措施，但是寻找SOTA是一种快速简便的方式来审阅和评估论文。诸如此类的事物已根植于文化之中，需要时间来改变。”

这并不意味着开拓新技术很容易。一个2019荟萃分析的搜索引擎使用的信息检索算法得出的高水位标记是在2009年实际设置的另一项研究在2019年重现7个神经网络推荐系统，并发现，60未能跑赢大盘要简单得多，非AI算法开发几年前，即使对早期技术进行了微调。然而，另一篇论文中发现的证据表明，几十个损失函数-算法的部分是数学指定其目标-自2006年以来与一个没有在精度方面改进研究在3月的2020年机器学习和系统会议上发表的论文发现，学术文献中超过80种修剪算法没有显示出10年内性能改善的证据。

但是伦敦玛丽皇后大学的AI研究人员和游戏设计师Mike Cook指出，发现新的解决方案只是科学过程的一部分。这还涉及确定社会中哪些地方适合进行研究，哪些小型实验室可能更能确定，因为它们不受私人支持的实验室，公司和政府所承担的义务的束缚。Cook说：“我们不知道是否始终需要大型模型和计算才能获得AI的最新结果。”“ [无论如何，我们]应该尽力确保我们的研究便宜，高效且易于分发。即使我们只是在制作有趣的音乐或文本生成器，我们也要对授权的人负责。”

中国联通：已累计开通5G基站33.2万站 到今年年底预计超过38万个

饿了么现已入驻1000所高校食堂 校园内平均20分钟送达

谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角

我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速

邬贺铨：截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%

苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”

微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁

OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域