微软的AI产生用中文和英文唱歌的声音

发布时间：2020-07-14 15:14:35 【来源：】

浙江大学和微软的研究人员声称，他们已经开发了一种AI系统-DeepSinger，该系统可以通过训练音乐网站上的数据来生成多种语言的演唱声音。在预印本Arxiv.org上发表的一篇论文中，他们描述了一种新颖的方法，该方法利用专门设计的组件从嘈杂的歌唱数据中捕获歌手的音色。

像OpenAI的音乐生成Jukebox AI一样，这项工作具有明显的商业意义。音乐艺术家通常会被安排参加接听会议，以解决录制结束后的错误，更改或添加。AI辅助的语音合成可以消除这些需求，从而节省歌手雇主的时间和金钱。但是有一个更黑暗的方面：它还可以用于创建深化的伪造品，以代表音乐家，使他们仿佛在唱从未听过的歌词(或使他们无法工作)。Jay-Z的Roc Nation标签最近对使用AI使其强奸了Billy Joel的“我们没有开始大火”的视频提出了版权声明，这可能标志着一场法律斗争的到来。

正如研究人员所解释的，唱歌的声音比正常的说话声音具有更复杂的模式和节奏。合成它们需要信息来控制持续时间和音高，这使任务具有挑战性。另外，公开的唱歌训练数据集并不多，训练中使用的歌曲必须在歌词和音频级别进行手动分析。

DeepSinger表面上通过包含多个数据挖掘和数据建模步骤的管道克服了这些挑战。首先，该系统从音乐网站抓取顶级歌手以多种语言播放的流行歌曲。然后，使用称为Spleeter的开源音乐分离工具从伴奏中提取歌声，然后将音频分段为句子。接下来，DeepSinger提取歌词中每个音素的歌唱持续时间(将一个单词与另一个单词区分开的声音单位)。在根据模型生成的置信度分数过滤了歌词和歌声之后，系统点击上述组件以处理不完美或失真的训练数据。

在实验中，DeepSinger从互联网上以中文，广东话和英语抓取了成千上万首歌曲，这些歌曲经过了长度过滤并针对音量范围进行了归一化处理。那些声音质量较差或歌词不属于歌曲的人将被丢弃，从而获得训练数据集-Singing-Wild数据集-包含89位歌手演唱的92个小时的歌曲。

研究人员报告说，通过歌词，持续时间，音调信息和参考音频，DeepSinger可以合成音调准确度和“声音自然度”高品质的歌声。他们计算出这三首歌曲的定量音高准确度都高于85%。在一项涉及20人的用户研究中，DeepSinger生成的歌曲与原始培训音频之间的平均意见得分差距仅为0.34至0.76。

将来，研究人员计划利用WaveNet等更复杂的基于AI的技术，并共同在DeepSinger中训练各种子模型，以提高语音质量。

上一篇：Skydio融资1亿美元宣布以企业为中心的无人机阵容
下一篇：苹果将在2020年末实现5G销量的增长但是还有人在乎吗