CAVACHON:一种用于整合多模态单细胞数据的分层变分自编码器
该研究论文介绍了一种名为 Integrative Variational Autoencoder(InVA)的方法,通过借用来自不同来源的多个图像的信息,捕捉了结果图像与输入图像之间的复杂非线性关联,并实现了快速计算,从而提供了在人脑磁共振成像(MRI)中从多个皮层结构测量中获得代价高昂的正电子发射断层摄影(PET)的高精度预测推断。
Feb, 2024
本文阐述了成功学习多模态生成模型的四个判定标准,提出了一种混合专家多模态变分自编码器(MMVAE)来学习不同模态的生成模型,并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力,从质量和数量两方面进行了定性和定量。
Nov, 2019
本研究致力于解决无人驾驶中的预测难题,提出了一种概率化、多模态、上下文驱动和通用的条件变分自编码器。通过大量运用超网络,这种 VAE 能够执行高维问题的生成任务,并在各个环境中更加准确地预测道路情况。
Jan, 2022
本文介绍了一种基于变分自编码器的多模态学习方法,能够有效地用少量参数处理多模态输入数据的推断问题,提出的方法在一些数据集上表现出与最先进技术相匹配的性能。
Feb, 2018
介绍了一种新的结构化序列预测方法 —— 有条件流变分自编码器 (CF-VAE),使用新的条件归一化流先验捕获复杂的多模态条件分布;同时,提出两种新的正则化方案,使训练更加稳定。在 MNIST 序列、斯坦福无人机和 HighD 三个数据集上的实验证明,该方法在不同评估指标方面均取得了最新的结果。
Aug, 2019
本研究论文介绍了使用 Gaussian mixture variational autoencoder(GMVAE)进行分子模拟数据的降维和聚类,以及其在构建 Markov 状态模型方面的潜在应用。
Dec, 2019
本文介绍了一种基于深度生成模型的多模态交换方法,提出了条件独立的联合表示的概念,实现了对不同模态之间的高级概念进行双向交换,并通过对比实验表明该模型的有效性。
Nov, 2016
用于多模态数据的变分自编码器在数据分析中具有许多任务的潜力,如表示学习、条件生成和插补。我们通过用软约束替换这些硬约束,提出了一种新的专家混合先验方法,软指导每个模态的潜编码向共享的聚合后验靠近,从而得到一个更好的潜编码表示,并提高了对缺失数据模态的填充能力。在多个基准数据集和具有挑战性的现实神经科学数据集上进行了广泛实验证明,与现有方法相比,学到的潜编码表示和缺失数据模态的插补有所改进。
Mar, 2024
本文提出了一种基于 PVAE 的多模态生成模型,可将共享因素和模态相关因素编码为不同的潜变量,用于生成符合不同语义和风格要求的条件数据,并利用发现的语义单元在两个音频 / 图像数据集上完成了定量和定性的评估。
May, 2018