研究人员的AI将活页乐谱与MIDI音频对齐

发布时间：2020-07-23 10:15:16 【来源：】

在预印本服务器Arxiv.org上发表的一项研究中，约翰内斯·开普勒大学林茨计算感知研究所和奥地利人工智能研究所的研究人员描述了一种AI系统，该系统可以预测与音频匹配的活页乐谱中最可能的位置记录，在对齐精度方面表面上优于当前基于图像的最新分数跟踪器。

分数跟踪是自动伴奏，翻页以及将现场表演与可视化同步等应用程序的基础。现有系统要么依赖于固定大小的小片段乐谱图像，要么需要使用光学音乐识别提取的计算机可读乐谱表示。但是，研究人员的系统可以以端对端的方式跟随任意长度的音乐表演，从而唯一地观察整个乐谱页面。

该团队将分数跟踪建模为图像分割任务。基于直到给定时间点的音乐表演，他们的系统针对与当前正在播放的音乐相对应的乐谱预测分段蒙版(小图像“片段”)。研究人员说，虽然仅利用固定大小的音频输入的跟踪器通常无法在超过特定上下文的情况下在重复音符之间进行区分，但是即使在较长时间段的音谱中，所提出的系统也没有问题。。

在实验过程中，研究人员从多模型活页乐谱数据集(MSMD)中获取了复音钢琴样本，其中包括来自巴赫，莫扎特和贝多芬等各种作曲家的歌曲。手动识别并纠正对齐错误后，他们用353对活页乐谱和MIDI信息对系统进行了培训。

共同作者报告说，除了最高阈值外，他们的系统性能优于所有基线，从而在时间差方面实现了更精确的结果(即，对于更严格的错误阈值，百分比更高)。它偶尔会产生错误，研究人员将其归因于系统在单张图像纸上执行“大跳跃”的自由度。但是他们断言实验结果表明该系统在大多数情况下都是“非常精确的”。

研究人员写道：“未来的工作……将需要对扫描或照相的纸张图像进行测试，以评估系统在视觉范围内的泛化能力。”“迈向功能更强大的系统的下一步是显式或隐式地结合一种机制来处理分数和演奏中的重复。我们假设所提出的方法将能够从适当准备的训练数据中很自然地获得此功能，尽管我们怀疑其性能将在很大程度上取决于迄今为止对音频历史的隐式编码，即循环网络的听觉范围有多大能够存储。”

音乐AI正在快速发展。OpenAI最近发布了Jukebox，这是一种机器学习框架，可以生成音乐(包括基本歌曲)作为各种类型和音乐风格的原始音频。在2018年末，Google Brain的“ Magenta项目”致力于“探索机器学习在创作过程中的作用”，推出了Musical Transformer，该模型能够生成具有可识别重复性的歌曲。去年三月，谷歌发布了算法谷歌涂鸦，使用户能够向巴赫进行旋律致敬。

上一篇：联想华硕和腾讯推出带有Sentons GamingBar虚拟按钮的游戏手机
下一篇：谷歌公开发布Beta版推荐AI电子商务工具