研究人员开发了可以从录像中读取嘴唇的AI

实际上，能够从视频中读取嘴唇的AI和机器学习算法并没有什么不同。早在2016年，来自Google和牛津大学的研究人员就详细介绍了一种系统，该系统可以以46.8%的准确度注释视频素材，优于专业的人读机的12.4%准确度。但是，即使是最先进的系统也难以克服唇部运动的歧义，从而阻止其性能超过基于音频的语音识别。

为了追求更好的性能，浙江大学阿里巴巴分校和史蒂文斯理工学院的研究人员设计了一种方法，称为“按语言说话”(LIBS)，该方法利用从语音识别器中提取的特征作为补充线索。他们说，它在两个基准上都达到了业界领先的准确性，在字符错误率方面，基准比基准高出7.66%和2.75%。

LIBS和其他类似的解决方案可以帮助那些听障人士观看缺少字幕的视频。据估计，全世界有4.66亿人患有失能性听力障碍，约占世界人口的5%。根据世界卫生组织的数据，到2050年，这一数字可能会超过9亿。

LIBS从人类说话者的视频中以多种尺度提取有用的音频信息，包括序列级别，上下文级别和帧级别。然后，通过识别它们之间的对应关系，将数据与视频数据对齐(由于不同的采样率和空白有时会出现在开头或结尾，视频和音频序列的长度不一致)，并且它利用过滤技术来优化蒸馏功能。

深圳罗湖打造“一个中枢五个中心” 建成中国黄金钻石交易中枢体系

广西黄金珠宝产业园优化全产业链发展 目前为止已入驻企业37家

国内知名珠宝企业齐亮相首届消博会 展现民族品牌新形象

吉尔吉斯斯坦或将取消珠宝产品生产设备进口的增值税 包括精矿砂、合金等

潍坊昌乐“中国宝石城”化身“潍坊市电商小镇 珠宝商变身为“直播网红”

广州发布全国首份围绕新发展格局支持钻石产业专项政策 培育壮大产业集聚带

未来5年 深圳罗湖构建全球竞争力和国际影响力的黄金钻石金融中心

中国珠宝成为首届中国国际消费品博览会唯一指定进口代理商