Oct, 2022

DiffRoll：基于扩散的生成式音乐转录技术及无监督预训练能力

PDF
TL;DR提出了一种新的生成方法，DiffRoll，来处理自动音乐转录问题。它将 AMT 视为有条件的生成任务，从其理论上训练模型来从纯高斯噪声中生成逼真的钢琴卷，因此 DiffRoll 不需要分类器，可在仅提供钢琴卷的不配对数据集上训练。实验证明，DiffRoll 的性能优于其判别式对应物 19 个百分点，并且其消融研究还表明，其性能优于类似的现有方法 4.8 个百分点。
automatic music transcriptiongenerative approachpiano rollsdiffrollspectrograms
发现论文，激发创造
  • Diff-A-Riff: 音乐伴奏共创技术基于潜在扩散模型

    介绍了基于深度生成模型的音乐生成方法 Diff-A-Riff，可通过音频参考、文本提示或两者控制，生成适应任何音乐背景的高质量器乐伴奏，并在 48kHz 伪立体声音频的基础上显著减少推断时间和内存使用。

    Jun, 2024

  • 自动音乐转录中乐器间知识的传递

    本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

    Apr, 2023

  • MT3: 多任务多轨音乐转录

    本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

    Nov, 2021

  • 基于频谱扩散的多乐器音乐合成

    本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

    Jun, 2022

  • 原始音乐生成的渐进蒸馏扩散

    应用一种新的深度学习方法来生成原始音频文件，并使用 1D U-Net 的渐进蒸馏扩散模型实现无条件音乐生成，并比较不同扩散参数的价值和实现。

    Jul, 2023

  • 一种具有乐器特定输入表示和扩散绘制的表达性声学吉他声音合成

    通过使用定制化的输入表示方法，我们提出了一种表达丰富的声学吉他声音合成模型，该模型名为 guitarroll。通过扩散外推生成长期一致性的音频，我们的模型在音频质量方面优于基线模型，并比以前的主要工作生成更真实的音色声音。

    Jan, 2024

  • 音乐指挥运动生成中的扩散模型驯服

    该论文提出了 Diffusion-Conductor，它是一种基于 DDIM 的新方法，用于从给定的交响乐中生成乐队指挥的运动，并使用几种新的测量标准进行评估。

    Jun, 2023

  • 无注释自动音乐转录：基于可扩展合成数据和对抗领域混淆技术

    提出了一种无需注释数据的音乐自动转录模型，通过利用可扩展的合成音频进行预训练和对抗性域混淆，实现了比使用混合注释真实音频数据学习时更高的准确性，在 AMT 研究领域中，揭示了这种方法的可扩展性和面临的挑战。

    Dec, 2023

  • 野外音乐自动转录的非对齐监督

    NoteEM 是一种自动化的乐曲信息获取方法，能够实现从现实世界的音频记录中以高精度解码出对应的乐曲内容，其主要特点为采用了非对齐监督、伪标签和音高位移等技术。该方法在 MAPS 数据集上取得了最好的记录水平准确度，并在跨数据集评估中也表现出积极优势。

    Apr, 2022

  • ProDiff：高质量语音合成的渐进式快速扩散模型

    本文提出了一种名为 ProDiff 的文本到语音模型，它利用渐进式快速扩散模型直接预测干净数据来减少扰动模型迭代次数，从而提高高质量的音频语音合成速度。使用基于 GPU 硬件的 ProDiff 模型可以实现 24 倍于实时速度的语音合成，相对于其他使用数百步骤的模型，它只需要进行 2 次模型迭代就能合成高保真和多样化的语音合成样本.

    Jul, 2022