Jun, 2018

为结构化自动音乐生成模型调整深度生成原始音频模型

PDF
TL;DR本文提出了一种将深度学习中的原始音频模型和符号模型相结合的音乐自动生成方法，使用 LSTM 网络学习音乐的旋律结构，再将符号生成作为 WaveNet 原始音频生成器的条件输入，从而生成出有结构且听起来逼真的音乐。
automatic music generationdeep learningraw audio modelssymbolic modelswavenet
发现论文，激发创造
  • 实现逼真音乐生成的挑战：在规模上对原始音频进行建模

    本文探讨了采用自回归离散自编码器（ADAs）来模拟音乐块之间的长期依赖关系的方法，实现了在原始音频域中生成具有风格一致性的钢琴音乐。

    Jun, 2018

  • 深度神经网络明确结构编码对符号音乐生成的影响

    本研究探讨了在给定和弦进行约束下解决旋律生成问题的方法，并比较了 LSTM（一种 RNN）和 WaveNet（扩张时间 - CNN）两种序列生成模型，结果显示使用扩张卷积层更显式地编码结构可以显著提高性能，而将基础和弦进行全局编码则更有提升效果。

    Nov, 2018

  • 使用 WaveNet 自编码器进行音乐音符的神经音频合成

    本研究提出了一种基于 WaveNet 风格自编码器的新型音频模型，进一步介绍了一个规模较大质量较高的音乐数据集 NSynth。使用 NSynth 数据集，我们证明 WaveNet 自编码器比使用频谱自编码器基线的性能有显著提高，同时演示了该模型学习嵌入的能力，实现了在音色上的差值并创造了新类型的逼真和有表现力的声音。

    Apr, 2017

  • WaveNet：原始音频的生成模型

    该研究介绍了 WaveNet，一种用于生成原始音频波形的深度神经网络，该模型是完全概率的和自回归的，应用于文本到语音，产生了最先进的性能，用于模拟音乐，生成新颖且高度逼真的音乐片段，并可作为一种判别模型返回有希望的语素识别结果。

    Sep, 2016

  • 音乐的深度学习

    本研究尝试使用深度神经网络建立生成模型，以生成既有和声和旋律，并且足以通过人类作曲的音乐，并利用端到端学习和生成的方法。

    Jun, 2016

  • 深度音乐生成综述：多层表征、算法、评价及未来方向的全面调查

    本研究概述了当前流行的各种利用深度学习算法进行不同音乐生成层次的生成音乐任务，并总结了适用于各种任务的数据集、音乐表示、评估方法以及挑战，同时指出了几个未来的研究方向。

    Nov, 2020

  • 符号音乐生成中的结构建模：图案、短语与更多

    模拟音乐结构在生成符号音乐作品的人工智能系统中至关重要但具有挑战性。本文概述了整合连贯结构的技术的演变，从符号方法到基础和转换的深度学习方法，利用计算和数据在各种训练范式中的强大能力。最新阶段，我们评述了一种新兴技术，称为 “子任务分解”，它涉及将音乐生成分解为独立的高级结构规划和内容创作阶段。这些系统通过提取旋律的骨架或结构模板来引导生成过程，从而纳入某种形式的音乐知识或神经符号方法。从审查的三个时期来看，已经取得了在主题和重复方面的进展，但在模拟人类作曲家风格下的扩展音乐作品中细微主题的发展仍然很困难。我们概述了几个关键的未来方向，以实现结合所有考察时期方法的协同效益。

    Mar, 2024

  • 通过分层音乐结构表示实现可控的深度旋律生成

    本文介绍了 MusicFrameworks，这是一种基于深度学习的分层音乐结构表示方法；并提出了一种多步骤的生成过程，根据长期重复结构、和弦、旋律轮廓和节奏约束生成完整的旋律。研究结果表明，其中一半的旋律比起 POP909 数据集中由人类作曲家创作的音乐更好或同样好。

    Sep, 2021

  • 从人工神经网络到深度学习在音乐生成中的历史、概念和趋势

    本文介绍了基于深度学习技术的音乐生成方法，包括早期使用人工神经网络的作品和最近的系统，使用现代深度学习技术和控制手段生成具有不同音乐风格的音乐。

    Apr, 2020

  • 灵活音色控制的神经音乐合成

    本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

    Nov, 2018