2017年至2019年间AI培训成本下降了100倍

现在，机器学习系统的培训比以往任何时候都便宜。这就是ARK Invest的主张，ARK Invest今天发表了一项荟萃分析，表明培训成本正在以摩尔定律(计算机硬件性能每两年翻一番)的速度提高50倍。

在其报告中，ARK发现，从1960年到2010年，按照摩尔定律，致力于训练的计算量增加了一倍，而训练计算的复杂度(每天千万亿次千万亿次运算(每秒四次操作)的数量)自2010年以来每年增加10倍。因此，过去三年的培训成本每年下降10倍;2017年，在公共云上训练像ResNet-50这样的图像分类器的成本约为1,000美元，而在2019年，成本约为10美元。

在与像谷歌的DeepMind这样的资金雄厚的公司竞争的初创公司看来，这无疑是音乐。去年，谷歌的DeepMind亏损了5.72亿美元，背负了十亿美元的债务。尽管一些专家认为，技术巨头无法胜任的实验室因其局限性而从事新研究，但确实如此，培训是AI工作中不可避免的支出，无论是在企业，学术界还是其他领域。

这些发现似乎与OpenAI最近的报告中的结果完全相同，并且实际上是从中得出的。该报告表明，自2012年以来，训练AI模型达到ImageNet基准测试中图像分类的相同性能所需的计算量一直在减少每16个月减少2倍。根据OpenAI，Google的Transformer架构超越了由seq2seq引入的三年后的计算模型，该模型也由Google开发，而seq2seq也是由Google开发的。DeepMind的AlphaZero这个系统从零开始教自己如何掌握国际象棋，将棋和围棋的游戏，一年后，它的计算量就减少了8倍，以匹配该系统的前身AlphaGoZero的改进版本。

ARK认为，成本的下降归因于硬件和软件方面的突破。例如，Nvidia的V100显卡于2017年发布，比其三年前发布的K80快约1800%。(图形卡通常用于训练大型AI系统。)由于MIT，Google，Facebook，Microsoft，IBM，Uber和其他。

ARK预测，以当前的改善速度，培训ResNet-50的成本应降至$ 1。它预计，推理的价格(在生产中运行经过训练的模型)将与此同时下降，今年将稳定在0.03美元左右，以运行可以对十亿张图像进行分类的模型。(两年前，它的成本是10,000美元。)

“根据成本下降的速度，人工智能还处于起步阶段，” ARK分析师James Wang写道。“在摩尔定律的前十年中，晶体管的数量每年增加一倍，或者是此后几十年的两倍。我们在AI培训和AI推理中都目睹了10到100倍的成本下降，这表明AI的发展尚处于萌芽状态，也许未来几十年会出现缓慢但持续的增长。”

尽管模型训练的费用总体上似乎正在下降，但是在云中开发复杂的机器学习模型仍然非常昂贵，值得注意的是。根据最近的Synced报告，华盛顿大学的Grover专为生成和检测假新闻而设计，在两周的培训中花费了25,000美元。据报道，OpenAI花费了高达1200万美元来训练其GPT-3语言模型，而Google花费了大约6,912美元来训练BERT，这是一种双向转换器模型，可重新定义11种自然语言处理任务的最新状态。

中国联通：已累计开通5G基站33.2万站 到今年年底预计超过38万个

饿了么现已入驻1000所高校食堂 校园内平均20分钟送达

谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角

我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速

邬贺铨：截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%

苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”

微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁

OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域