Google声称其新的TPU比上一代快2.7倍

发布时间:2020-07-30 12:35:27 【来源:

Google的第四代张量处理单元(TPU)直到今天才公开发布,它可以在接近记录的壁钟时间内完成AI和机器学习训练工作量。这是根据MLPerf发布的最新一组指标得出的。该指标是MLPerf套件背后的70多家公司和学术机构组成的联盟,用于AI性能基准测试。它显示了第四代TPU的集群在对象检测,图像分类,自然语言处理,机器翻译和推荐基准方面超过了第三代TPU(甚至是Nvidia最近发布的A100的集群)的功能。

谷歌表示,其第四代TPU提供的矩阵乘法TFLOP是第三代TPU的两倍以上,其中单个TFLOP相当于每秒1万亿个浮点运算。(矩阵通常用于表示输入到AI模型中的数据。)它还提供了“显着”的内存带宽提升,同时受益于互连技术的未指定进步。谷歌表示,总体而言,在相同的64芯片规模上,并且不考虑软件带来的改进,在去年的MLPerf基准测试中,第四代TPU的性能平均比第三代TPU提升了2.7倍。

Google的TPU是专用于加速AI的专用集成电路(ASIC)。它们是液冷的,旨在插入服务器机架中。交付多达100 petaflops的计算;并增强Google产品的功能,例如Google搜索,Google相册,Google翻译,Google助手,Gmail和Google Cloud AI API。谷歌在其年度I / O开发人员大会上宣布了2018年的第三代产品,今天早晨揭开了继任者的序幕,后者处于研究阶段。

Google AI软件工程师Naveen Kumar在博客中写道:“这表明了我们致力于大规模开展机器学习研究和工程,并通过开源软件,Google产品和Google Cloud向用户提供这些进步的承诺。”“机器学习模型的快速培训对于提供以前无法实现的新产品,服务和研究突破的研究和工程团队至关重要。”

今年的MLPerf结果表明,谷歌的第四代TPU不容小at。在涉及使用ImageNet数据集对算法(ResNet-50 v1.5)进行至少75.90%的准确度训练的图像分类任务中,在1.82分钟内完成了256个第四代TPU。这几乎与768个Nvidia A100图形卡,192个AMD Epyc 7742 CPU内核(1.06分钟)以及512个华为AI优化的Ascend910芯片与128个Intel Xeon Platinum 8168内核(1.56分钟)组合在一起的速度一样快。第三代TPU在0.48分钟的训练中获得了第四代跳动,但这也许仅是因为串联使用了4,096个第三代TPU。

在MLPerf的“重量级”对象检测类别中,第四代TPU稍稍领先一点。一个参考模型(Mask R-CNN)在9.95分钟内用256个第四代TPU进行了COCO语料库的训练,达到了512个第三代TPU的惊人距离(8.13分钟)。在自然语言处理工作量上,需要在WMT英语-德语数据集上训练Transformer模型,因此在0.78分钟内完成了256个第四代TPU。4,096个第三代TPU需要0.35分钟,而480个Nvidia A100卡(加上256个AMD Epyc 7742 CPU内核)需要0.62分钟。

当负责在大型维基百科语料库上训练BERT模型时,第四代TPU的得分也很高。使用256个第四代TPU进行培训需要1.82分钟,仅比使用4,096个第三代TPU进行培训所需的0.39分钟稍慢。同时,使用Nvidia硬件达到0.81分钟的培训时间,需要2,048张A100卡和512个AMD Epyc 7742 CPU内核。

最新的MLPerf包括新的和经过修改的基准(建议和强化学习),并且TPU的结果参差不齐。由64个第四代TPU组成的集群在“建议”任务中表现良好,花费了1.12分钟的时间来训练来自Criteo AI Lab的Terabyte点击率(CTR)数据集的1TB日志的模型。(八个Nvidia A100卡和两个AMD Epyc 7742 CPU内核在3.33分钟内完成了训练。)但是Nvidia在强化学习方面取得了领先,设法在29.7分钟的简化版棋盘游戏中将模型训练为50%的获胜率。带有256个A100卡和64个AMD Epyc 7742 CPU内核。256个第四代TPU花费了150.95分钟。

需要注意的一点是,Nvidia硬件以Facebook的PyTorch框架和Nvidia自己的框架(而不是Google TensorFlow)为基准。第三代和第四代TPU都使用TensorFlow,JAX和Lingvo。尽管这可能会在一定程度上影响结果,甚至允许这样做,但基准测试明确了第四代TPU的性能优势。

中国联通:已累计开通5G基站33.2万站 到今年年底预计超过38万个
饿了么现已入驻1000所高校食堂 校园内平均20分钟送达
谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角
我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速
邬贺铨:截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%
苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”
微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁
OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...