Google的Performer AI架构可以促进蛋白质分析并降低计算成本

发布时间：2020-06-09 16:04:22 【来源：】

在本周于预印本服务器Arxiv.org上发表的一篇论文中，谷歌，DeepMind，艾伦·图灵研究所和剑桥大学的科学家提出了Performer，这是一种AI模型架构，可以线性缩放并在蛋白质序列建模等任务上表现出色。他们声称，它有可能影响生物序列分析的研究，同时降低计算成本和计算复杂性，同时降低能耗和碳排放量。

Performer是Transformer的分支，Transformer是Google研究人员在2017年提出的架构。Transformer依靠可训练的注意力机制，该机制指定每个输入序列的元素(例如蛋白质中的氨基酸)之间的依赖性。正是这一点使他们能够在机器学习领域取得最先进的成果，包括自然语言处理，神经机器翻译，文档生成和摘要以及图像和音乐生成。但是，变形金刚按输入序列中令牌的数量(即字符序列)进行二次缩放，这对于大型令牌而言过于昂贵。

相比之下，表演者按输入序列中标记的数量线性缩放。他们的主干通过正交随机特征(FAVOR)迅速引起注意，FAVOR是一种在保持输入的边际分布的同时识别不同输入在统计上是独立的技术。这样一来，表演者就可以处理较长的序列，并与预先训练的常规变形金刚保持向后兼容，从而使它们可以在变形金刚的范围之外使用，从而成为可扩展性更强的替代产品，以引起人们对计算机视觉，强化学习和其他AI应用程序的关注。

为了评估该体系结构，研究人员在用于建模蛋白质相互作用的现有Transformer训练代码的基础上实施了Performer。(Performer仅替换了注意力组件，而所有其他组件保持不变。)Performer和Transformer基准模型都从开放源数据库Trembl获得了长度为8,192个令牌的串联蛋白序列，并在Google设计的系统中进行了训练第三代张量处理单元(TPU)，每个芯片包含16GB RAM。

研究人员报告说，基于Transformer的模型即使芯片的批处理大小为1，也会使芯片的内存过载。另一方面，Performer以每芯片16个批量进行有效培训，同时不断自我完善，随着培训的进行而提高了性能。

共同作者说，结果表明Performer可以通过扩展方法来训练更快，更准确的AI模型来“极大地”受益于现代生物信息学。“ [这]为设计具有预先指定的相互作用特性的分子集打开了大门。这些方法可用于增强现有的基于物理的设计策略，这些策略在例如开发新的纳米颗粒疫苗方面至关重要。

值得注意的是，Performer引入了Reformer，这是Transformer的改进，Google旨在处理多达一百万个单词的上下文窗口。通过利用诸如位置敏感哈希(LSH)和可逆残差层之类的技术来有效使用内存并降低长序列的复杂性，它可以在仅使用16GB内存的单个AI加速器芯片上运行。

就其本身而言，OpenAI最近首次推出了稀疏变压器，这是一种开放源代码的机器学习系统，可以预测文本，图像和声音序列中的下一个内容，是变形金刚可以实现的内容的30倍。稀疏变形金刚构成了JukeBox的基础，JukeBox是一种机器学习框架，可以生成音乐(包括基本歌曲)作为各种类型和音乐风格的原始音频。

上一篇：科学家如何使用超级计算机对抗当前局势
下一篇：Google Meet噪音消除技术现已推出-它的工作原理