从数据集到NLP模型的语言表达不足的问题

发布时间：2020-08-05 15:45:41 【来源：】

自然语言处理(NLP)管道如何全面支持广泛使用的语言?克拉克森大学和爱荷华大学研究人员合着的一项最新研究试图调查NLP工具对八种方言的理解程度：英语，中文，乌尔都语，波斯语，阿拉伯语，法语，西班牙语和塞内加尔语Wolof。他们的发现表明，即使在某种工具从技术上支持某种语言，阻止充分参与并导致某些声音表达不足的情况下，也存在警告。

典型的NLP管道涉及收集语料库，将其处理为文本，识别语言元素，训练模型，并使用这些模型回答特定问题。研究人员说，人们对某些语言在数据集中的代表性不足的程度已广为人知，但在整个NLP工具链中扩大影响的方式却鲜有讨论。

共同作者断言，绝大多数NLP工具都是用英语开发的，即使获得其他语言的支持，它们的鲁棒性，准确性和效率也往往落后于英语。对于BERT(一种用于自然语言处理的最先进的预训练技术)而言，开发人员发布了英语模型，随后发布了中文和多语言模型。但是，单语言模型比多语言模型保留了性能优势，英语和汉语的单语言模型都比英汉组合的模型好3%。此外，当针对具有有限计算资源的团队发布较小的BERT模型时，所有24种语言均为英语。

研究人员说，在管道的每个阶段都缺乏代表性，这增加了后期阶段的代表性。举例来说，多语言BERT模型是使用最大的Wikipedia文章数据库在排名前100的语言上进行训练的，但是在调整说话者数量时，数据库的大小和质量存在很大差异。它们不仅随语料库的文件大小和页面总数而变化，而且随维度(包括不包含内容的存根的百分比，编辑次数，使用该语言的管理员数量，用户总数以及活动用户。

例如，大约有：

全世界估计有11.9亿华语使用者，因此有112万条中文维基百科文章，每千名发言者总共0.94篇文章。

610万篇英文文章，或每1,000名讲者12.08条(全球5.05亿讲者)

160万西班牙语，或每1,000名讲者有3.42篇文章(全球有4.7亿讲者)

阿拉伯语的文章有104万条，每千名发言者有3.33篇(全球有3.15亿发言者)

222万篇法文文章，或每1,000名演讲者29.70条(全球7500万演讲者)

波斯语732,106篇文章，每千名发言者10.17篇文章(全球7200万发言者)

用乌尔都语撰写的155,298篇文章，或每千名演讲者的2.43篇文章(全世界有6,400万名演讲者

沃洛夫(Wolof)的1,393篇文章，或每千名发言者0.14篇文章(全球有1,000万名发言者

数据库的代表性甚至不如可能出现，因为并非所有使用该语言的人都可以访问Wikipedia。就中文而言，它已被中国政府禁止，因此维基百科中的中文文章更有可能来自台湾，香港，新加坡和海外的4000万华语使用者。

研究人员发现，某些语言的技术障碍也往往比其他语言更高。例如，他们用来从Wikipedia下载中文，英语，西班牙语，阿拉伯语，法语和波斯语语料库的脚本，波斯语的错误率是0.13%，汉语的错误率是0.02%，但是在500万篇英语文章中没有错误。对于Urdu和Wolof语料库，该脚本不兼容，因为它不支持其格式。

除了维基百科，研究人员还遇到了用各种语言组装电子书的问题，这些问题通常用于训练NLP模型。对于阿拉伯语和乌尔都语，许多标题以扫描图像而不是文本格式提供，要求光学字符识别工具进行处理，其准确度范围为70%至98%。对于中文电子书，研究人员使用光学字符工具在每行中错误地添加了空格。而且由于Wolof语言没有书面字符集，因此该团队被迫依赖可能会带来风格自由的英语，法语和阿拉伯语版本。

研究人员写道：“尽管在Wikipedia和BERT等项目上在多语言支持方面进行了巨大且令人称赞的投资，但我们仍在做出以NLP为指导的决策，这些决策系统性地显着地代表了世界许多国家的声音。”“我们记录了整个NLP工具链如何进一步放大NLP流程早期缺乏代表性(例如Wikipedia中的代表性)的情况，最终导致依赖易于使用的预训练模型有效地阻止了除资源最丰富的团队，包括各种声音。我们强调说多种语言的人在将其思想和表达方式充分纳入NLP得出的结论中所面临的困难，这些结论已被用来指导我们所有人的未来。”

上一篇：苹果将主要营销高级副总裁菲尔·席勒替换为格雷格·乔斯维克
下一篇：这是一场关于人工智能的未来以及盲人或视障人士可访问性的活动