使用深度学习进行音乐转录建模和创作

Apr, 2016

使用深度学习进行音乐转录建模和创作

Music transcription modelling and composition using deep learning

Bob L. Sturm, João Felipe Santos, Oded Ben-Tal, Iryna Korshunova

TL;DR本文采用深度学习方法，具体来说是 LSTM 网络，用于音乐转录建模和创作，使用大约 23,000 个高级词汇（ABC 符号）表示的音乐转录来构建和训练 LSTM 网络，并用其生成新的转录。实际目的是在特定的音乐创作情境中创建有用的音乐转录模型，我们从三个方面展示了结果：1）在种群水平上，比较训练转录和生成转录集的描述性统计数据；2）在个体水平上，研究生成的转录如何反映训练转录中音乐实践的惯例（凯尔特民间音乐）；3）在应用级别上，使用该系统进行音乐创作的创意生成。我们开放和提供了我们的数据集、软件和声音示例：https://github.com/IraKorshunova/folk-rnn。

Abstract

We apply deep learning methods, specifically long short-term memory (LSTM) networks, to music transcription modelling and composition. We build and train →

deep learning lstm networks music transcription music composition abc notation

发现论文，激发创造

基于文本的 LSTM 网络自动音乐创作

本文介绍了一种基于文本的 LSTM（长短时记忆）网络的新方法，并讨论了其在自动音乐作曲方面的应用，研究表明采用基于词的 RNNs 对和弦进行学习的效果较好，该系统可用于完全自动的音乐创作或辅助人类通过调节模型的多样性参数来创作音乐。

Apr, 2016

使用 LSTM 生成音乐

使用 LSTM 网络在音乐生成中得到了初步的应用，该方法是一种在深度学习中具有广泛应用的序列建模方法。

Mar, 2022

2014 年的巴赫：用循环神经网络进行音乐创作

提出了一种计算机音乐作曲框架，利用鲁棒传播 (RProp) 和长短期记忆 (LSTM) 循环神经网络，成功展示 LSTM 网络适当学习音乐的结构和特征，同时显示利用 RProp 预测现有音乐的结果优于 BPTT。

Dec, 2014

深度节奏：让每个人都创作音乐

该研究采用深度学习方法，实现基于输入节拍生成单声部旋律的任务，提出了三种有效的方法，并结合差异化、谐和性和结构特点，允许任何人通过输入节拍或现有作品的旋律来创作自己的音乐作品。

Jun, 2023

音乐的深度学习

本研究尝试使用深度神经网络建立生成模型，以生成既有和声和旋律，并且足以通过人类作曲的音乐，并利用端到端学习和生成的方法。

Jun, 2016

DeepJ: 风格特定音乐生成

本文引入了 DeepJ 这一端到端的生成模型，能够在特定的作曲家风格混合条件下进行音乐创作；该模型包括学习音乐风格和音乐动力学等多种创新方法，通过人类评价表明该模型在风格迁移方面优于 Biaxial LSTM 方法。

Jan, 2018

基于 Transformer 的序列到序列钢琴转录

本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

Jul, 2021

从头开始学习音乐特征

本文介绍了一个新的大规模音乐数据集 MusicNet，旨在为音乐研究的机器学习方法提供监督和评估，该数据集由 10 位作曲家创作的 11 种乐器的数百个自由许可的古典音乐录音以及关于它们的时间标签组成，其中包含的多标签分类任务以及多项基于机器学习结构的性能评估表明了末端到末端的神经网络在音符预测方面的学习效果最佳。

Nov, 2016

有感演奏的学习：学习表达音乐表演

本文提出了基于 LSTM 递归神经网络的直接演奏音乐生成方法，同时预测音符的表现力、时间和动态变化，取得了良好的主观效果，并得到了专业作曲家和音乐家的反馈。

Aug, 2018

使用循环神经网络进行音乐情感预测

本研究探讨了应用循环神经网络识别音乐中传达的情感，旨在通过将音乐调整到适合听众的情感状态，增强音乐推荐系统并支持治疗干预。我们使用 Russell 的情感象限将音乐分类为四个不同的情感区域，并开发了能够准确预测这些类别的模型。我们的方法涉及使用 Librosa 提取全面的音频特征，并应用各种循环神经网络架构，包括标准 RNN，双向 RNN 和 LSTM 网络。初步实验使用包含 900 个已标记情感象限的音频片段数据集进行，我们将神经网络模型的性能与一组基准分类器进行比较，并分析其在捕捉音乐表达中固有的时间动态方面的有效性。结果表明，在较小的数据集中，较简单的 RNN 架构的表现可能与更复杂的模型相当甚至更优。我们还在较大的数据集上应用了以下实验：一是基于我们原始数据集进行的增强，另一是来自其他来源。这项研究不仅增进了我们对音乐情感影响的理解，还展示了神经网络在创建更个性化和情感共鸣的音乐推荐和治疗系统方面的潜力。

May, 2024