Aug, 2023

寻找托里：自监督学习分析韩国民歌

PDF
TL;DR我们介绍了对大约 700 小时的 1980 年代至 1990 年代的韩国民歌野外录音数据集进行的计算分析。我们利用基于音高轮廓的卷积神经网络进行自监督学习，分析了模型对 tori 音乐概念的捕捉能力，实验结果表明我们的方法相比传统音高直方图更好地捕捉了 tori 音乐特征。利用我们的方法，我们研究了现有学术界提出的音乐讨论如何在韩国民歌的实际野外录音中体现。
computational analysiskorean folk songsself-supervised learningconvolutional neural networkmusical discussions
发现论文，激发创造
  • 从头开始学习音乐特征

    本文介绍了一个新的大规模音乐数据集 MusicNet，旨在为音乐研究的机器学习方法提供监督和评估，该数据集由 10 位作曲家创作的 11 种乐器的数百个自由许可的古典音乐录音以及关于它们的时间标签组成，其中包含的多标签分类任务以及多项基于机器学习结构的性能评估表明了末端到末端的神经网络在音符预测方面的学习效果最佳。

    Nov, 2016

  • 使用自监督技术学习歌手身份表示

    我们提出了一个框架，通过在大量的孤立音轨上应用不同的自监督学习技术以及数据增强，训练歌手身份编码器以提取适用于各种歌唱相关任务（如歌声相似性和合成）的表示，我们评估了产生的表示在多个数据集上进行歌手相似性和识别任务，并重点关注领域外泛化，我们的框架在 44.1 kHz 下产生高质量的嵌入，优于说话人验证和 wav2vec 2.0 预训练基线，在歌唱声音上，并发布了我们的代码和训练模型，以促进对歌唱声音和相关领域的进一步研究。

    Jan, 2024

  • 利用预训练的自监督前端实现自动唱歌声音理解任务：三个案例研究

    本文探讨了无监督自学习模型在歌唱声音识别中的有效性和表现，并对其实验结果和行为进行了分析。

    Jun, 2023

  • 无监督的旋律引导歌词生成

    本文提出了一种基于分层框架和旋律 - 歌词对齐的歌词生成模型，能够在没有旋律 - 歌词对齐数据的情况下，通过对内容进行控制生成更可唱、更易懂、更连贯和有韵律的高质量歌词。

    May, 2023

  • 光谱图是补丁的序列

    本文介绍了一个名为 Patchifier 的自监督模型，利用 NLP 和 CV 领域的自监督学习方法，将音乐的频谱图作为一系列图块，并对其特征进行捕捉。使用仅包含 16k 个音乐片段的 MTAT 数据集进行预训练。该模型应用于多个下游任务，并取得了令人满意的结果。同时，该工作证明了将音频视为一系列图块片段是有意义的。

    Oct, 2022

  • 实现全自监督多音高估计

    多音高估计中的多音高估计，监督式学习技术，自监督式学习目标，多声乐曲数据集，卷积自编码器

    Feb, 2024

  • Deep Autotuner: 用于歌唱表演的音高校准网络

    本论文介绍了一种基于数据驱动的自动音高校正方法，该方法利用歌唱声音和伴奏音频相应的频谱图之间的关系来预测音符级别的音高变化。该方法通过神经网络模型进行训练，包括卷积层和门控循环单元，可适用于自由即兴和协调音乐演唱。

    Feb, 2020

  • 基于频谱图的自动调谐声音在音乐录音中的检测

    该研究介绍了一种基于三元组网络的数据驱动方法，用于检测 Auto-Tune 音乐的自动调音效果，通过创建一个由原始和自动调音音频剪辑组成的数据集。实验结果表明，与针对其他音频取证任务广泛使用的端到端模型 Rawnet2 相比，提出的方法在准确性和鲁棒性上均具有优势。

    Mar, 2024

  • 节奏与音高：自监督节奏估计的理解

    本文通过实验分析自监督的音高估计模型在节奏估计中的适用性和鲁棒性，探究了输入表示和数据分布之间的关系。

    Apr, 2023

  • Serenade：一种人 - 机交互自动和弦估计模型

    通过人工和自回归模型共同创建音频音轨的和声标注，我们提出了一种新颖的替代方法， 在自动产生和声预测后，人工稀疏地注释低模型置信度的部分，然后模型根据人工指导调整其预测，我们在一组流行音乐数据集上评估了我们的模型并展示了这种人工参与的提升效果。

    Oct, 2023