Facebook研究人员建议使用语言模型进行事实检查

发布时间：2020-06-10 15:22:04 【来源：】

在预印服务器Arxiv.org上发表的一篇论文中，Facebook和香港科技大学的研究人员提议使用自然语言模型作为事实检查器，这是受以下事实启发的：在网络文档上训练的模型显示出惊人的数量。世界知识。他们提出的方法采用了验证分类器模型，该模型在给出原始索赔和生成的索赔时将确定该索赔是受支持还是被驳回，或者信息是否不足以进行呼叫。

根据Zignal Labs委托进行的一项调查，通过社交媒体消费新闻的美国人中有86%并不总是对所阅读的信息进行事实核对，而61%的人可能会喜欢，分享或评论朋友建议的任何内容。尽管Facebook尽了最大努力，但假新闻仍在该平台上继续泛滥，例如有关流行病和抗议活动的错误信息，吸引了成千上万的目光。

该论文的合著者声称这是此类研究的第一篇，他认为语言模型记忆信息的能力可能会提高Facebook事实检查流程的有效性。他们还断言，这些模型可以通过消除对大量文档的搜索并自动执行当前由人类执行的训练和验证步骤来加速事实验证。

研究人员的端到端事实检查语言模型执行自动屏蔽，选择屏蔽实体(即人，位置和事物)和标记(单词)，以利用其恢复结构和语法的能力。(根据研究人员的说法，这种方法源于事实，事实通常取决于实体的正确性以及实体之间的可能关系，而不是根据主张的用词来表述。)然后，模型获得最高的预测标记并填充掩盖的位创建一个“证据”句子，然后使用声明和证据通过预测文本对之间的“真相关系”来获得包含特征。例如，给定一对句子T和H，模型将假定“句子T需要^ h”如果人类阅读牛逼会推断^ h是最有可能的事实。

研究人员在FEVER上进行了实验，FEVER是一个大规模的事实核对数据集，包含大约540万个Wikipedia文章。他们使用公开提供的经过预训练的BERT模型作为事实检查语言模型，检查了其准确性。

研究小组表示，性能最佳的BERT模型无需进行明确的文档检索或证据选择即可达到49%的准确性，这表明它至少与标准基线(48.8%)和随机基线(33%)一样有效。但是，它与针对FEVER进行测试的最先进的系统相去甚远，该系统的准确率高达77%。

研究人员将短缺归因于语言模型的局限性，例如，FEVER中少于五个词的说法几乎没有提供预测的背景。但是他们说，他们的发现证明了更好地存储和编码知识的模型预训练技术的潜力，并且为基于事实模型的事实检查系统奠定了基础，事实证明系统对生成问题的回答是有效的。

共同作者写道：“最近的工作表明语言模型(LM)可以存储从预训练数据中学到的常识和事实知识。”“ [我们相信我们的方法具有很大的改进潜力，将来的工作可以探索使用更强大的模型来生成证据或改善我们掩盖索赔的方式。”

上一篇：JSonar为人工智能技术的数据库安全产品筹集了5000万美元
下一篇：命运2:超越光明为MMO射击游戏开创了新纪元9月22日