本文介绍了一种基于深度生成模型的多模态交换方法，提出了条件独立的联合表示的概念，实现了对不同模态之间的高级概念进行双向交换，并通过对比实验表明该模型的有效性。

Nov, 2016

本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

Feb, 2018

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像-语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019

研究发现，多模态变分自编码器存在上界限制，导致其生成质量不如完全无监督的单模态自编码器，且当前的算法无法满足所有复杂数据集上的期望表现，限制了其在弱监督数据建模应用中的实际效果。

Oct, 2021

提出一种基于集合的多模态VAE方法，可以直接对联合模态后验分布进行建模，从而在处理缺失模态等方面具有优异性能，适用于无序跨模态生成任务。

Dec, 2022

本研究提出一种新的方法，通过使用基于分数的模型（SBMs）共同建模单模VAEs的潜在空间，以增强多模态VAEs的生成性能。该模型利用SBM学习潜在变量之间的相关性来强制执行多模态一致性，从而将单模VAEs的优异生成质量与不同模态的协同集成相结合。

May, 2023

用于多模态数据的变分自编码器在数据分析中具有许多任务的潜力，如表示学习、条件生成和插补。我们通过用软约束替换这些硬约束，提出了一种新的专家混合先验方法，软指导每个模态的潜编码向共享的聚合后验靠近，从而得到一个更好的潜编码表示，并提高了对缺失数据模态的填充能力。在多个基准数据集和具有挑战性的现实神经科学数据集上进行了广泛实验证明，与现有方法相比，学到的潜编码表示和缺失数据模态的插补有所改进。

Mar, 2024

为了解决不平衡的多模态学习问题，本文提出了一种诊断与再学习的方法，通过对模态能力的内在限制进行考虑，以及对所有模态的均衡处理，从而有效地平衡和增强多模态学习。

Jul, 2024

本研究解决了现有多模态变分自编码器在建模复杂数据时未能有效捕捉模态间复杂动态的问题。通过将马尔可夫随机场纳入先验和后验分布，本论文提出了一种新颖的多模态变分自编码器，以更好地捕捉模态间的相互作用。实验结果表明，该模型在标准PolyMNIST数据集上表现出竞争力，并在处理复杂模态依赖关系时优于已有模型。

Aug, 2024

该研究解决了多模态变分自编码器在生成高质量输出方面的挑战，特别是受到潜在空间的联合表示限制。通过引入灵活的扩散解码器，该方法显著提升了图像模态的生成质量，同时改善了依赖前馈解码器的其他模态的性能，推动了多模态生成任务的进展。

Aug, 2024