Google的MixIT AI可以隔离录音中的扬声器

发布时间:2020-07-01 15:18:39 【来源:

在预印服务器Arxiv.org上发表的一篇论文中,谷歌和伊利诺伊大学的研究人员提出了混合不变训练(MixIT),这是一种无监督的方法来分离,隔离和增强音频录音中多个说话者的声音。这种方法仅需要单通道(例如,单声道)声学特征,研究人员声称,它通过结合混响混合物和大量的野外训练数据,“显着”提高了语音分离性能。

正如论文的合著者所指出的那样,音频感知存在一个根本性的问题-声音混合在一起的方式无法在不了解信号源特性的情况下就无法解开。已经尝试设计能够从单通道录音中估计每个声源的算法,但是迄今为止,大多数算法都是受监督的,这意味着它们在通过添加声音而创建的音频混合中进行训练,而无论是否模拟环境。结果是,在存在声音混响或声音类型分布不匹配时,它们的表现不佳。这是由于几个因素。首先,很难匹配真实语料库的特征,并且房间特征有时是未知的。这样一来,可能无法轻易获得每种来源类型的数据,

MixIT声称通过使用没有参考文献的声学混合物来解决这些挑战。训练示例是通过将现有的音频混合在一起而构成的,系统将它们分成多个源,然后将分离的源重新混合以近似原始源。

在实验中,使用四个Google Cloud张量处理单元(TPU)对MixIT进行了培训,以处理三个任务:语音分离,语音增强和通用声音分离。为了进行语音分离,研究人员使用了开放源代码WSJ0-2mix和Libri2Mix数据集,以提取390多个小时的男女讲话者录音。他们在将两组信号(WSJ0-2mix的3秒剪辑和Libri2Mix的10秒剪辑)混合输入之前,添加了混响效果。

对于语音增强任务,他们从FreeSound.org收集了非语音声音,以测试MixIT是否可以训练为从包含LibriSpeech语音的混合物中去除嘈杂的音频。对于通用声音分离任务,他们使用了最新发布的Free Universal Sound Separation数据集来训练MixIT从声学混合物中分离出任意声音。

研究人员报告说,在通用声音分离和语音增强中,与现有方法相比,无监督训练没有那么有用-大概是因为测试集与监督训练领域“非常匹配”。但是,对于通用声音分离,相对于仅进行监督的培训,无监督的培训似乎对将测试集泛化略有帮助。虽然没有达到监管的水平,但合著者声称MixIT的无监督性能“史无前例”。

研究人员写道:“ MixIT开辟了新的研究领域,可以利用大量以前未开发的野生数据来训练声音分离系统。”“最终目标是评估真实混合物数据的分离度;然而,由于缺乏事实依据,这仍然具有挑战性。作为替代,根据应用的不同,未来的实验可能会使用识别或人工聆听来作为隔离的度量。”

苏富比将在线拍卖一颗重达14.83ct的稀有紫粉色钻石 估价2300万-3800万美元
英国富豪暨环保人士文斯计划以绿色科技每年生产数千克拉的钻石
苏富比将推出拍场上最大的艳彩紫粉色钻石“玫瑰花韵” 重量为14.83卡拉
以色列钻石零售商CAPRICE首度亮相进博会 为国内消费者带来近千款商品
最大人造钻石集团豫金刚石仍在风口浪尖中半年亏近4亿 目前市值仅剩78亿元
印度钻石行业要求政府下调成品钻的进口关税 要求降到2.5%
阿里巴巴宣布与历峰集团共同投资奢侈品电商平台FARFETCH 开云集团也将增资
重达88克拉黑色钻石将亮相第三届进博会 估值3700万美元

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...