Facebook的MARGE AI无需微调即可总结和翻译文档

发布时间：2020-07-02 14:42:04 【来源：】

在预印服务器Arxiv.org上发表的一篇论文中，Facebook研究人员描述了可检索和生成的多语言自动编码器(MARGE)。这是一种语言模型，它通过检索不同语言的相关单词，句子和段落并识别其中的模式来生成单词，句子和段落。

研究人员声称，MARGE无需任何微调即可学习释义，翻译和总结文本，这是朝着可以仅通过预培训就可以执行任何文本任务的系统迈出的潜在一步。

在机器学习中，预训练包括对大量数据进行AI模型训练，然后对针对特定任务(例如汇总)的狭窄数据集进行微调。蒙版模型-通过删除然后重新构建输入文本的一部分进行预训练-在语言领域得到了广泛使用。但是通过设计，他们必须记住大量的百科知识以实现出色的性能。

相比之下，MARGE强调释义，同时减少了所需的知识量。在预培训期间，它会提取成批的“证据”文档和目标文档，并学会准确地总结和翻译特定文本片段(以证据文档为条件)，因为它怀疑证据与每个目标的相关性。

MARGE首先计算每对文档之间的相关性得分，这鼓励它更多地参与相关的证据文档。然后，它使用改良的seq2seq模型(用于语言处理的通用编码器-解码器模型)来计算重建每个目标的可能性。最后，MARGE使用相关性模型进行检索以构造批处理，以使证据文档与目标相关。

在实验过程中，研究人员创建了一个带有9.6亿个名为MARGE-NEWS的参数的Transformer模型，该模型包含2,048个“工人”，处理了四个文档(两个证据和两个目标)的子批处理，每个批处理进行了550,000个步骤。他们进一步在Wikipedia数据上对其进行了100,000步的预培训，并每10,000步重新构建了索引，以便MARGE-NEWS每个目标文档平均采用四个单语言和四个跨语言链接。(这些文档总共涵盖了26种不同的语言。)

研究人员报告说，在跨语言句子检索的任务上，MARGE根据一个基准(BUCC)胜过所有其他无监督模型(即，在未标记数据集中寻找模式的模型)，并且表现与Facebook领先的XLM-R相当对照另一个基准(Tatoeba)进行建模。而在用来衡量语言翻译质量的指标BLEU上，MARGE的德语到英语成绩为3.58-在未经微调的系统中得分最高。

在确定两个句子是否为释义并回答有关中文文档的问题时，MARGE还淘汰了最新模型。在某些情况下，它很难生成非英语语言，特别是非拉丁字母的语言，但是研究人员报告说英语到法语的效果很好。

“ MARGE在许多语言的有差别的和生成性的任务上表现出色，无论是否进行了微调……我们证明了微调在许多语言的一系列歧视性和生成性任务上有很强的表现，这使MARGE成为最共同作者写道。“未来的工作应该将MARGE扩展到更多领域和语言，并研究如何使培训前的目标与不同的最终任务更加紧密地结合。”

应当指出，研究人员似乎并未在旨在揭示性别，种族，种族和其他偏见(例如StereoSet)的数据集上测试MARGE。这有点与考虑Facebook最近不良的道德记录有关。一位发言人最近对VentureBeat表示，该公司并未汇总Facebook AI Research等团队的多样性统计数据。在最近的Twitter交流中，Facebook首席AI科学家Yann LeCun建议，仅凭数据就能导致偏见性AI系统，像谷歌道德AI联合负责人Timnit Gebru这样的学者就此发表了看法。

上一篇：Waymo将在美国西南部扩展自动驾驶卡车测试
下一篇：斯坦福大学AI研究人员介绍LILAC和动态环境的强化学习