使用 VQ-VAE 提炼运动原语并使用 Transformer 解码器进行正确的排序，实现了音乐转动作的实时生成和无缝链接，同时易于定制满足风格需求的动作序列。

Sep, 2023

Jukebox 是一款基于 VQ-VAE 和 Transformer 的原始音频领域音乐生成模型，可以生成高保真度、多样化且长达数分钟的音乐，在音乐和声音风格上可以受到艺术家和类型的影响，并且根据未对齐的歌词进行调整，其生成音乐样本、模型权重和代码已经发布在指定链接上。

Apr, 2020

使用 Seq2Seq 和 VIB 模型翻译抽象的音乐想法，探索音乐与鼓乐的生成模型并创造了 13 小时专业鼓手的数据集，拓展了生成模型的创造潜力。

May, 2019

本文介绍了一种实时音频变分自动编码器 (RAVE)，允许快速且高质量的音频波形合成，采用多频段分解处理原始波形。通过后训练分析潜在空间，实现重构保真度与表示紧凑性之间的直接控制。例如对于音质转换和信号压缩等应用，该模型相比于现有模型表现更优。

Nov, 2021

我们提出了一种新颖的可控制系统，用于生成与任意输入音轨相匹配的单音轨，核心是音频自编码器有效地压缩音频波形样本成可逆的潜在表示，并且条件化的潜在扩散模型以输入音轨的潜在编码生成对应音轨的潜在编码，为了提供对生成样本音色的控制，我们引入了一种在扩散采样期间将潜在空间与用户提供的参考样式进行关联的技术，为了进一步提高音频质量，我们使用无分类器引导的方法避免在生成无界潜在空间时出现失真，我们使用配对的音轨混合组成的数据集对模型进行训练，定量实验证明，给定输入音轨，所提出的系统能够生成用户指定音色的低音线，我们的可控条件音频生成框架在帮助音乐制作方面迈出了重要的一步。

Feb, 2024

本文介绍了使用 Modulated Variational auto-Encoders (MoVE) 在音乐中实现 timbre transfer 的方法，通过使用 Feature-wise Linear Modulation (FiLM) 和 Maximun Mean Discrepancy 减少对抗网络的需要，最终实现了 multi-domain transfer。

Sep, 2018

本研究提出的 “感觉变分自编码器”(SynVAE)，在没有配对数据集的情况下学习视听感性模态之间的一致映射，并对 MNIST 和 Behance 艺术媒体数据集进行了数量和质量方面的评估，结果表明 SynVAE 在保持跨模态潜空间一致性的同时，能够保留足够的信息内容，并在定性评估试验中，人工评估者能够将生成的音乐样本与相应的图片进行匹配，准确率高达 73%。

Sep, 2019

本文采用生成对抗网络（GAN）实现打击乐器声音的音频合成，在公开特征提取器计算的感知特征的基础上进行模型输入条件化，从而实现对音频合成的直观控制。实验结果表明，相对于基于 U-Net 框架的特定原始工作，我们的方法显着地提高了生成鼓样品的质量，并且输入的条件确实塑造了声音的感知特性。

Aug, 2020

本研究探讨了 Variational Autoencoders（VAEs）在将原始音频数据中生成潜在音频空间时的应用，提出了三种探索潜在音频空间和音色的策略以应用于声音设计，在为声音和音乐实践中利用潜在音频空间的艺术方法和策略方面开展了初步探索。

May, 2023

本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

Mar, 2018