Dec, 2019

使用 Transformer 自动编码器对音乐风格进行编码

PDF
TL;DR本篇论文介绍 Transformer 自编码器用于符号音乐生成，提高性能风格和旋律的分开控制能力，并在 MAESTRO 及 Youtube 数据集上实现了比基线更好的结果。
transformer autoencodersymbolic music generationperformance stylemaestro datasetyoutube dataset
发现论文，激发创造
  • 基于 Transformer 的序列到序列钢琴转录

    本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

    Jul, 2021

  • 流行音乐变压器：基于节拍的建模和生成富有表现力的流行钢琴作品

    本文提出将乐谱数据表示成具有韵律结构的形式，通过开发更好的数据输入方式，我们建立了一个节奏更流畅的 Pop 钢琴音乐生成模型 - Pop Music Transformer。

    Feb, 2020

  • 通过解耦音色表示实现音乐作曲风格转移

    本文介绍一种基于深度学习的音乐曲目排列模型，通过对乐曲音频的编码和解码预测其乐谱，并使用解缠技术将其中代表音乐内容和乐器的因素分离，实现曲式转换。

    May, 2019

  • 端到端语音合成中学习风格控制与转移的潜在表示

    本文介绍了利用变分自编码器（VAE）来实现语音合成模型的端到端学习，以无监督的方式学习发音风格的潜在表示。通过 VAE 学习到的风格表示具有解缠、缩放和组合等良好的特性，使得风格控制变得容易。通过先通过 VAE 的识别网络推断出风格表示，然后将其馈入 TTS 网络来引导语音合成中的风格，可以在这个框架中实现风格转移。为了避免在训练过程中 KL 散度崩溃，采用了多种技术。最后，所提出的模型在风格控制上表现良好，并在风格转移的 ABX 偏好测试中优于全局风格令牌（GST）模型。

    Dec, 2018

  • 音乐生成的结构导向位置编码

    利用结构信息的位置编码框架改进深度学习生成音乐的一项研究，通过使用变换器模型，提出了三种不同类型的位置信息编码方法，并通过两个符号音乐生成任务对其进行全面测试，结果表明这些方法能够提升生成音乐作品的旋律和结构的一致性。

    Feb, 2024

  • 互动背景下的音乐生成调查

    近年来，机器学习，特别是生成对抗神经网络（GANs）和基于注意力的神经网络（transformers），已成功用于作曲和生成音乐，包括旋律和多声部作品。然而，现有研究主要集中在风格复制和转换的问题上，并未涉及到人机共同创作和评估。本文综述了音乐表征、特征分析、启发式算法、统计和参数建模，人类和自动化评估措施，并讨论了哪种方法和模型最适合于实时互动。

    Feb, 2024

  • 跨域预训练改进多乐器音乐生成

    该研究探讨了如何使用 Transformer 结构生成多乐器音乐乐谱，使用 NES-MDB 数据集进行了实验并采用预训练方法利用 Lakh MIDI 数据集进一步提高生成效果。

    Jul, 2019

  • 运用迁移学习技术提高自动爵士旋律生成

    使用转移学习解决 Jazz 音乐中数据不足和乐曲自动生成的问题。实验使用两种转移学习方法，其中添加流派标签和使用流派分类器的模型比单独使用 Jazz 数据集更好，但不能充分利用流派不指定的数据集。

    Aug, 2019

  • 得分变换器：从音符级别表示生成音乐得分

    本文讨论了使用 Transformer 模型对音乐成分进行分词表示的方法，以生成适当的音乐符号表示法。研究发现，该方法在所有 12 种音乐方面都显著优于现有方法。作者还探讨了适合使用该模型的有效符号表示法，确定了该方法的最佳效果。

    Dec, 2021

  • 透过二阶段方法构建及修饰：结构良好的钢琴演奏生成

    本文提出了一种基于 Transformer 模型的两阶段框架，首先用 Compose & Embellish 方法创作出一个简单音乐谱，然后加入 Begleitungen 及其他表现手法， 明显缩小了当前技术与真实表演之间的差距，同时提高了乐曲的丰富性和连贯性，也可以对非钢琴数据进行预训练。

    Sep, 2022