LinkedIn开源DeText 自然语言处理任务的框架

LinkedIn今天发布了DeText，这是一个用于自然语言处理相关排名，分类和语言生成任务的开源框架。它利用语义匹配，使用深度神经网络来了解搜索和推荐系统中的成员意图。作为一个通用框架，LinkedIn表示可以将其应用于一系列任务，包括搜索和推荐排名，多类分类和查询理解。

据LinkedIn高级工程经理Guoweiwei称，DeText的设计具有足够的灵活性，可以满足不同生产服务的要求。它由端到端模型中结合的“最新技术”算法提供支持，该模型中的变量可以共同更新，但它试图在总体有效性与高效率之间取得平衡。

“通过该框架，用户可以更好地利用现实应用程序中的模型和嵌入，”郭通过电子邮件告诉VentureBeat。“ LinkedIn已将它应用于搜索和推荐排名，查询意图分类和查询自动完成，并显着改善了搜索人员和工作的成员的相关排名。”

DeText包含多个组件，可以通过预加载的模板自定义所有组件：

一个将单词序列转换为矩阵的嵌入层，矩阵将一组数字排列成行和列。(矩阵通常用于表示输入到AI模型的数据。)

用于文本编码的模型，该模型将文本数据映射到固定长度的嵌入或算法可以从中学习的数字表示形式。

基于上述文本嵌入生成特征的交互层。

在联合训练的宽线性模型和深度神经网络中，将传统特征与交互特征(深度特征)相结合的特征处理。(在这种情况下，特征是指所观察到的现象的各个可测量属性和特征。)

结合了广泛和深入功能的MLP层。

运行DeText需要使用必需的依赖关系(包括Python)创建和启动开发环境。但是一旦安装完成，就可以在GitHub存储库中的示例数据集上训练示例模型。

“基于深度学习的自然语言处理有可能加深搜索和推荐系统如何理解人的意图。然而，由于其庞大的计算量，尤其是在对结果进行排名和对文本进行分类时，在商业应用中利用模型的能力仍然不佳。”“可以将DeText视为一种无绳钻机，使用户可以根据用例轻松地交换和优化自然语言处理模型。”

LinkedIn对AI的使用无处不在。2019年10月，微软拥有的平台拉开了模型的帷幕，该模型使用Microsoft的Cognitive Services平台和独特的LinkedIn衍生数据集实现了为上传到LinkedIn的图像生成文本描述的功能。LinkedIn的“推荐候选人”功能可学习给定角色的招聘条件，并在专用选项卡中自动显示相关候选人。而且其AI驱动的搜索引擎使用数据，例如人们在个人资料上发布的各种信息，以及应聘者进行的搜索，以为最适合的工作和求职者提供预测。此外，LinkedIn的AI驱动的审核工具会自动发现并删除不适当的用户帐户。

现代和起亚今年前10个月出口逾9万辆电动汽车 同比增长71.3%

中芯国际称产能接近满载 14nm量产良率已达业界量产水准

OPPO和vivo申请绿厂蓝厂商标 引发网友关注

华为申请“HICAR SMART COCKPIT”等商标 国际分类为“科学仪器”

NASA为登月任务组装火箭 预计在2024年将第一位女性送上月球

特斯拉申请召回美国9136辆Model X及401辆Model Y

OPPO Reno5 Pro入网工信部：双曲面屏设计 矩阵式相机模组

特斯拉在欧洲涨价，下一批Model S在德国贵了4万