Aug, 2020

学习可解释的控制式复调音乐生成的表示

PDF
TL;DR本文提出了一种基于 VAE 的音乐分离模型，用于将和弦和纹理这两个可解释的因子分离出来，从而实现音乐生成过程的可控，在生成音乐时具有广泛的应用，包括作曲风格转换、纹理变化和伴奏编排，并通过客观和主观评价证明了该方法的成功分离和高质量的音乐生成。
generative modelsalgorithmic compositionvaemusic disentanglementcontrolled music generation
发现论文，激发创造
  • PIANOTREE VAE：多声部音乐的结构化表示学习

    本文提出了一种名为 PianoTree VAE 的新型树结构扩展 VAE 用于拟合多声部音乐学习，并通过实验验证了其（一）适用于多声部片段的语义有意义的潜在编码；（二）除了可接受的几何形状学习外，更具有令人满意的重构性能；（三）对下游音乐生成的多样性有益。

    Aug, 2020

  • 基于图的多音轨音乐生成

    该论文在音乐生成的深度学习系统中引入了一种新颖的图表示方法和深度变分自编码器，将音乐的结构和内容分开生成，实现了更具层次结构的人机交互音乐创作方式。

    Jul, 2023

  • 基于划分的解缠：一种用于多模态感官数据的表示学习框架

    本文提出了一种基于 PVAE 的多模态生成模型，可将共享因素和模态相关因素编码为不同的潜变量，用于生成符合不同语义和风格要求的条件数据，并利用发现的语义单元在两个音频 / 图像数据集上完成了定量和定性的评估。

    May, 2018

  • 迭代数据属性相互映射的可控数据生成

    该论文提出了一个通用框架，以增强基于 VAE 的数据生成器的属性可控性和确保解缠。通过在训练集中对看到和未看到的数据进行优化，我们的目标在短时间内能够更精确地控制生成样本的属性，保证解缠并保持生成样本的有效性。

    Oct, 2023

  • 通过解耦音色表示实现音乐作曲风格转移

    本文介绍一种基于深度学习的音乐曲目排列模型，通过对乐曲音频的编码和解码预测其乐谱，并使用解缠技术将其中代表音乐内容和乐器的因素分离，实现曲式转换。

    May, 2019

  • 探索用于生成音乐可解释人工智能的变分自动编码器结构、配置和数据集

    这篇论文通过对不同组合的 Variational Auto-Encoder 模型、AI 模型的潜在空间配置和训练数据集进行系统研究，表明 MeasureVAE 在音乐生成性能方面具有更好的重构表现，AdversarialVAE 在音乐属性独立性方面表现更好。结果展示了 MeasureVAE 能够通过可解释的音乐控制维度生成跨音乐流派的音乐，并且在生成简单的流行和摇滚音乐时表现最佳。建议在使用 MeasureVAE 生成跨流派音乐时，4 个正则化维度的 32 或 64 个潜在空间尺寸是最佳选择。这些结果是关于音乐生成的最详细的现代生成 AI 模型配置的比较，并可用于选择和配置 AI 模型、音乐特征和数据集以实现更易理解的音乐生成。

    Nov, 2023

  • 音乐作曲的循环潜变量模型再思考

    本文提出了使用卷积变分递归神经网络对音乐进行特征捕捉和创作新音乐序列的模型，通过编码器 - 解码器架构和概率连接捕获音乐的隐藏结构，并使用 Variable Markov Oracle 方法对不同神经网络类型的性能进行比较，结果表明所提出的模型具有更好的统计相似性和更好地保留了原始音乐的风格。

    Oct, 2018

  • 一种用于学习音乐长期结构的分层潜变量模型

    本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

    Mar, 2018

  • ControlVAE: 可控变分自编码器

    提出控制变分自编码器框架 ControlVAE，该框架使用基于自动控制理论的控制器自动调节 VAE 目标中的权重，以改进生成模型的表现，并在语言建模，解缠杂表示学习和图像生成等三个应用中进行评估，结果表明 ControlVAE 可以实现更好的解缠杂和重建质量。

    Apr, 2020

  • 通过潜在表示解缠深度音乐类比

    本文提出了一种显式约束的变分自编码器 (EC2-VAE)，用于解决不同音乐片段之间的 “类比” 生成问题，该模型可以将潜在的高层次表示转移到其他音乐片段上，并成功进行了客观和主观评价。

    Jun, 2019