Sep, 2018

MIDI-VAE: 模型化音乐动态和器乐与应用于风格迁移

PDF
TL;DR本论文介绍了 MIDI-VAE，一种基于变分自编码器的神经网络模型，能够处理带有多个乐器轨道的复调音乐，并通过结合音符持续时间和速度来建模音乐动态。我们展示了 MIDI-VAE 可以执行符号音乐的样式转换，通过自动更改音高、动态和乐器，将一个音乐作品从古典风格转换为爵士风格。我们通过训练单独的样式验证分类器来评估样式转换的有效性。我们的模型还可以在短音乐片段间插值、产生混音和创建整首歌曲的混合物。插值平滑地改变音高、动态和乐器，以在两个音乐片段之间创建和谐的桥梁。据我们所知，这项工作代表了将神经风格迁移成功应用于完整音乐作品的第一次尝试。
midi-vaevariational autoencoderspolyphonic musicstyle transferneural network
发现论文，激发创造
  • 基于 RNN 的层次化多模态融合生成 VAE 网络用于多轨符号音乐生成

    本文提出了一个基于 RNN 的层次化多模态融合生成变分自编码器（VAE）网络 MIDI-Sandwich2，用于多轨符号音乐生成，并使用多模式融合技术实现 RNN-based 多轨符号音乐生成。与 MuseGAN 相比，MIDI-Sandwich2 不仅能生成和谐的多轨音乐，而且生成的质量也接近于艺术水平。

    Sep, 2019

  • 多视角 MidiVAE: 融合轨道和小节视图表示用于长久期多轨道符号音乐生成

    我们提出了 Multi-view MidiVAE 作为 VAE 方法中有效建模和生成长多轨符号音乐的先驱之一，它利用二维表示 OctupleMIDI 来捕捉音符之间的关系，并减少特征序列的长度。通过采用混合变分编码 - 解码策略将 Track - 和 Bar-view MidiVAE 特征相结合，我们关注乐器特性、和声以及音乐作品的全局和局部信息。对 CocoChorales 数据集进行的客观和主观实验结果表明，与基线相比，Multi-view MidiVAE 在建模长多轨符号音乐方面显示出显著的改进。

    Jan, 2024

  • PIANOTREE VAE：多声部音乐的结构化表示学习

    本文提出了一种名为 PianoTree VAE 的新型树结构扩展 VAE 用于拟合多声部音乐学习，并通过实验验证了其（一）适用于多声部片段的语义有意义的潜在编码；（二）除了可接受的几何形状学习外，更具有令人满意的重构性能；（三）对下游音乐生成的多样性有益。

    Aug, 2020

  • 将视觉艺术转化为音乐

    本研究提出的 “感觉变分自编码器”(SynVAE)，在没有配对数据集的情况下学习视听感性模态之间的一致映射，并对 MNIST 和 Behance 艺术媒体数据集进行了数量和质量方面的评估，结果表明 SynVAE 在保持跨模态潜空间一致性的同时，能够保留足够的信息内容，并在定性评估试验中，人工评估者能够将生成的音乐样本与相应的图片进行匹配，准确率高达 73%。

    Sep, 2019

  • 用于多对多音色转换的调制变分自编码器

    本文介绍了使用 Modulated Variational auto-Encoders (MoVE) 在音乐中实现 timbre transfer 的方法，通过使用 Feature-wise Linear Modulation (FiLM) 和 Maximun Mean Discrepancy 减少对抗网络的需要，最终实现了 multi-domain transfer。

    Sep, 2018

  • 学习可解释的控制式复调音乐生成的表示

    本文提出了一种基于 VAE 的音乐分离模型，用于将和弦和纹理这两个可解释的因子分离出来，从而实现音乐生成过程的可控，在生成音乐时具有广泛的应用，包括作曲风格转换、纹理变化和伴奏编排，并通过客观和主观评价证明了该方法的成功分离和高质量的音乐生成。

    Aug, 2020

  • 一种用于学习音乐长期结构的分层潜变量模型

    本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

    Mar, 2018

  • 端到端语音合成中学习风格控制与转移的潜在表示

    本文介绍了利用变分自编码器（VAE）来实现语音合成模型的端到端学习，以无监督的方式学习发音风格的潜在表示。通过 VAE 学习到的风格表示具有解缠、缩放和组合等良好的特性，使得风格控制变得容易。通过先通过 VAE 的识别网络推断出风格表示，然后将其馈入 TTS 网络来引导语音合成中的风格，可以在这个框架中实现风格转移。为了避免在训练过程中 KL 散度崩溃，采用了多种技术。最后，所提出的模型在风格控制上表现良好，并在风格转移的 ABX 偏好测试中优于全局风格令牌（GST）模型。

    Dec, 2018

  • 利用变分自动编码器探索调性音乐的潜在空间

    我们评估了在 371 首巴赫合唱曲中对音乐认知的音乐语料库进行训练的变分自编码器（Variational Autoencoders）对于代表五度音程和音乐认知中的每个关键组件音高的等级关系定义潜在空间的程度，结果表明，音高离散傅里叶变换（Pitch DFT）的潜空间最好地与认知空间对齐，并提供一个包含模糊聚类的共同音空间，在其中，关键字内重叠的对象强加了一种良好定义的结构重要性或稳定性的顺序 - 即音程层次结构。不同关键的音调层次结构可以用来测量关键的距离及其音符和和弦在多个层次（例如，笔记和和弦）上的关系。

    Nov, 2023

  • MT-VAE: 学习运动变换以生成多模式人体动力学

    本文提出了一种新颖的动作序列生成方法 MT-VAE，它可以利用动作序列之间的转换关系，学习运动方式的特征嵌入和运动方式之间的特征变换，从而生成多样性且逼真的面部和全身运动，并展示了与类比运动传递和视频合成相关的应用。

    Aug, 2018