LightOn研究人员解释了他们如何在光学协处理器上训练AI模型

发布时间:2020-06-04 14:57:05 【来源:

在预印服务器Arxiv.org上发表的技术论文中,LightOn是一家开发用于AI应用程序的光学计算硬件的初创公司,其科学家详细介绍了他们所谓的能够加速AI模型训练的光学协处理器之一。在对流行的MNIST手写数字数据集进行的实验中,他们的协处理器(光学处理单元)表面上帮助训练了一个模型,以95.8%的精度识别数字,而在图形卡上进行训练的模型则达到了97.6%的精度。

光子集成电路是LightOn芯片的基础,与电子同类产品相比,具有许多优势。它们只需要有限的能量,因为光产生的热量少于电,并且它们不易受到环境温度,电磁场和其他噪声变化的影响。与硅等效产品相比,光子设计中的延迟提高了10,000倍,而功耗水平却降低了“几个数量级”,而且,某些模型的工作负载运行速度比最新的电子芯片快了100倍。

根据该论文,LightOn研究人员使用一种内部光学芯片,该芯片经过修改以包括离轴全息照相技术(参比光束与物光束之间的小角度,可以防止重叠),并与一种称为直接反馈对准(DFA)的技术相结合。在机器学习中,DFA将模型错误率的随机预测用作训练信号,这使得构成模型的每一层都可以独立于其他层进行更新。

典型的AI模型由连接到一个或多个密集层中的“神经元”(数学函数)组成。沿着神经元传输的信号会调整连接的突触强度(权重),并以此方式从数据中提取特征并学会做出预测。通常,反向传播(错误的向后传播)用于发送信号并进行各种调整,但是反向传播会阻止层的异步处理。层的调整取决于模型中其他地方的数据,从而导致效率低下。

为了追求更快的基于光学的DFA方法,LightOn研究人员的芯片将一种称为矢量的数字表示编码到光束上,该分量具有用于空间调制光的组件。光束通过扩散器传播,并导致相机检测到的推断图案(斑点)以及光束的强度。这使芯片可以提供非常大的随机模型误差预测-理论上超过一千亿个参数,在此情况下,它们指的是模型内部的配置变量,这些变量定义了问题模型的技能。

在实验过程中,合著者训练了一个模型,该模型包含10个时期的1,024个神经元,这意味着MNIST中的每个样本都有机会将参数更新10次。LightOn的协处理器以1.5 kHz的频率运行,每秒执行1,500次随机投影,消耗约30瓦的功率,比一般的图形卡的功率效率高出一个数量级。

研究人员推测,切换到不同的全息方案将使执行涉及超过一万亿个参数的计算成为可能,但他们将其留给未来的工作。他们写道:“随着神经网络变得越来越大,越来越复杂和数据量越来越大,培训成本正在飞涨。”“我们希望通过优化当前可用的组件以及开发未来的组件来改善[在我们的芯片上]的性能。对DFA的更好理解也将有助于扩大该加速器的应用范围。”

值得注意的是,LightOn的硬件旨在插入标准服务器或工作站中,因此无法不受光学处理的限制。快速的光子电路需要快速的存储,然后是将每个组件(包括激光器,调制器和光学组合器)封装在一个微小的芯片晶圆上的问题。此外,关于在光学领域可以执行哪种类型的非线性运算(使模型能够进行预测的基本模型构建块)仍存在疑问。

这也许就是为什么包括英特尔和LightOn在内的公司都在采用混合方法,将硅和光学电路结合在同一芯片上,以使模型的一部分以光学方式运行,而模型的一部分以电子方式运行。它们并不孤单-到目前为止,初创公司Lightelligence已在其加速器上演示了MNIST基准机器学习模型,该模型使用计算机视觉识别手写数字。另外三个竞争激烈的光学芯片市场的初创公司Lightmatter,Optalysis和Fathom Computing也已经为自己的芯片筹集了数千万的风险投资。

中国联通:已累计开通5G基站33.2万站 到今年年底预计超过38万个
饿了么现已入驻1000所高校食堂 校园内平均20分钟送达
谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角
我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速
邬贺铨:截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%
苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”
微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁
OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...