卡内基梅隆大学的研究人员使用Twitch收集声音进行AI研究

发布时间：2020-07-31 15:11:21 【来源：】

卡内基·梅隆大学的研究人员设计了一种实时流媒体视频游戏，以收集玩家的音频，这些音频将填充用于人工智能研究的数据库。团队的游戏-Rolling Rhapsody是专门为在Twitch上玩而设计的游戏，它的任务是使彩带在地图上滚动以收集“宝藏”，同时观众通过应用程序记录家中的声音。

研究人员认为，可以使用诸如居室敲门声或咳嗽声等家庭声音的录音来创建一系列有用的技术。例如，谷歌借鉴了数千次会议和YouTube视频中的音频，以训练Google Meet中的降噪算法。同时，卡内基·梅隆大学的一个独立研究小组创建了一个“声音动作视觉”语料库，以预测物体在受到物理力的作用下将向何处移动。

Rolling Rhapsody最近在流行的Twitch彩带上完成了第五次游戏测试。在研究人员的配合下，彩带提示观看者录制和上传来自Android和iOS配套应用的声音。每当流光收集到一件宝物时，这些声音就会在流中播放，以便每个观看者都可以一致地收听。

该团队在该项目网站上的博客文章中解释说：“想象一下，只需要一个人就能在10分钟内收集500种微波声音-Twitch使这一切成为可能。”“在2018年，它的每日活跃用户超过1500万，每月广播电视量在220至320万之间。由于达到了放大器的效果，我们到达的每一个流媒体都会吸引许多观众……它能够收集观众成千上万的声音。”

希望有一天能够在不影响贡献者身份的情况下将声音公开发布。所有滚动狂想曲的播放器和观看者都必须选择加入并同意上传声音，并且游戏为他们提供了机会，可以对意外捕获个人声音的声音进行编辑。他们还可以删除提交的内容，选择在本地存储声音以及随时撤回其同意

狂想曲绝不是完美的-它要求在家的球员为录制的声音加上标签，其中大约50%的人提供了错误的标签。但是，这项工作仍在继续，并计划在今年夏天晚些时候进行更广泛的现场测试。

“我们可以将其用作新型游戏体验的概念验证，从而可以从家庭中收集道德数据。首席研究员杰西卡·哈默(Jessica Hammer)在一份声明中说：“我们可以以一种有趣且对每个参与人员都感觉良好的方式收集数据。”“这项研究并不仅限于收集家庭音频数据。一个简单的扩展就是收集其他类型的音频数据。然后，您可以使用同一游戏，只需更改您给玩家的挑战种类即可。”

飞利浦狂想曲(Rolling Rhapsody)受飞利浦医疗保健公司(Philips Healthcare)和博世(Bosch)的赞助支持，是Polyphonic的一部分，该计划是卡耐基梅隆大学(Carnegie Mellon)更大的一项计划，其中包括用于声音标签和验证的应用程序以及用于研究人员查看和下载声音的界面。

上一篇：苹果2020年第三季度收入达到创纪录的597亿美元股票将以4:1的比例分配
下一篇：脸书超过第二季度预期收入为186.9亿美元每月活跃用户为27亿