本文提出了一个基于 RNN 的层次化多模态融合生成变分自编码器（VAE）网络 MIDI-Sandwich2，用于多轨符号音乐生成，并使用多模式融合技术实现 RNN-based 多轨符号音乐生成。与 MuseGAN 相比，MIDI-Sandwich2 不仅能生成和谐的多轨音乐，而且生成的质量也接近于艺术水平。

Sep, 2019

本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

Mar, 2018

本论文介绍了 MIDI-VAE，一种基于变分自编码器的神经网络模型，能够处理带有多个乐器轨道的复调音乐，并通过结合音符持续时间和速度来建模音乐动态。我们展示了 MIDI-VAE 可以执行符号音乐的样式转换，通过自动更改音高、动态和乐器，将一个音乐作品从古典风格转换为爵士风格。我们通过训练单独的样式验证分类器来评估样式转换的有效性。我们的模型还可以在短音乐片段间插值、产生混音和创建整首歌曲的混合物。插值平滑地改变音高、动态和乐器，以在两个音乐片段之间创建和谐的桥梁。据我们所知，这项工作代表了将神经风格迁移成功应用于完整音乐作品的第一次尝试。

Sep, 2018

本文提出了一种名为 PianoTree VAE 的新型树结构扩展 VAE 用于拟合多声部音乐学习，并通过实验验证了其（一）适用于多声部片段的语义有意义的潜在编码；（二）除了可接受的几何形状学习外，更具有令人满意的重构性能；（三）对下游音乐生成的多样性有益。

Aug, 2020

通过提出的明确条件多模态变分自编码器（ECMVAE）来进行音频 - 视觉分割（AVS），从有效的表示学习的角度解决现有 AVS 方法中的问题，该方法的关键词包括明确条件多模态变分自编码器、音频 - 视觉分割、表示学习、交叉模态共享表示和音源分割。

Oct, 2023

该研究提出了一种称为长期 VAE（L-VAE）的方法，通过使用多输出加性高斯过程（GP）先验来扩展 VAE 的能力，从而实现在辅助协变量信息的约束下学习结构化低维表示， 以及导出了一种新的 KL 离散度上界。该方法可以同时适应时间变化的共享和随机效应，产生结构化低维表示，剥离个体协变量或其相互作用的影响，以及实现高度准确的预测性能。

Jun, 2020

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019

我们评估了在 371 首巴赫合唱曲中对音乐认知的音乐语料库进行训练的变分自编码器（Variational Autoencoders）对于代表五度音程和音乐认知中的每个关键组件音高的等级关系定义潜在空间的程度，结果表明，音高离散傅里叶变换（Pitch DFT）的潜空间最好地与认知空间对齐，并提供一个包含模糊聚类的共同音空间，在其中，关键字内重叠的对象强加了一种良好定义的结构重要性或稳定性的顺序 - 即音程层次结构。不同关键的音调层次结构可以用来测量关键的距离及其音符和和弦在多个层次（例如，笔记和和弦）上的关系。

Nov, 2023

本文提出了用于处理异构数据的异构纵向变分自编码器，该模型通过建立生成模型和推断网络实现了高维数据的有效推断和处理，并使用连续、计数、分类和序数数据的似然模型来处理缺失值和实现预测。通过模拟和临床数据的实验验证了模型的有效性和预测精度。

Apr, 2022

本研究提出一种新的方法，通过使用基于分数的模型（SBMs）共同建模单模 VAEs 的潜在空间，以增强多模态 VAEs 的生成性能。该模型利用 SBM 学习潜在变量之间的相关性来强制执行多模态一致性，从而将单模 VAEs 的优异生成质量与不同模态的协同集成相结合。

May, 2023