Feb, 2024

InVA：整合型变分自编码器用于多模态神经影像数据的协调

PDF
TL;DR该研究论文介绍了一种名为 Integrative Variational Autoencoder（InVA）的方法，通过借用来自不同来源的多个图像的信息，捕捉了结果图像与输入图像之间的复杂非线性关联，并实现了快速计算，从而提供了在人脑磁共振成像（MRI）中从多个皮层结构测量中获得代价高昂的正电子发射断层摄影（PET）的高精度预测推断。
non-linear associationsimage-on-image regressionintegrative variational autoencoderborrowing informationpredictive inference
发现论文，激发创造
  • 内省变分自编码器：用于照片图像合成的模型

    介绍了一种新颖的内省变分自动编码器 (IntroVAE) 模型，其可以用于合成高分辨率的照片图像，并通过将 GAN 和 VAE 两种生成框架集成到一个简单而高效的单流架构中，实现了高性能的图像生成。

    Jul, 2018

  • 多模式深度生成模型的变分混合专家自编码器

    本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

    Nov, 2019

  • 无限变分自编码器用于半监督学习

    本文提出了一种基于混合模型和狄利克雷过程的无限变分自编码器，其容量能够适应输入数据，从而使得自动编码器数量能够根据数据自动变化，实验结果表明该方法在半监督学习中具有很高的灵活性。

    Nov, 2016

  • 可扩展的弱监督学习的多模态生成模型

    本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

    Feb, 2018

  • 变分自编码回归：应用于脑衰老分析

    本文提出了一种统一的概率模型，用于学习成像数据的潜在空间并执行监督回归，利用 VAE 和神经网络回归器的联合正则化可以更精确地预测 MR 图像的年龄，实现了对人脑结构发育规律的直观解释。

    Apr, 2019

  • 基于混合乘积专家变分自编码器的多模态神经影像数据规范建模改进

    通过采用混合乘积专家（MoPoE）技术，我们提出了一种改进的范式模型，该模型利用多模态神经影像数据对联合潜在后验进行更好的建模，并计算从多模态潜在空间由于阿尔茨海默病（AD）病理而产生的异常偏差。

    Dec, 2023

  • 深度生成模型的联合多模态学习

    本文介绍了一种基于深度生成模型的多模态交换方法，提出了条件独立的联合表示的概念，实现了对不同模态之间的高级概念进行双向交换，并通过对比实验表明该模型的有效性。

    Nov, 2016

  • 使用变分自编码器生成可解释的表示

    本文提出了一个框架，利用结构化图形模型在变分自动编码器（VAEs）的编码器中导出可解释的表达，使得在给定图形模型的结构限制下执行推理，并使用深度生成模型处理高维度的杂乱领域变得更容易。同时在无监督和半监督的情况下，通过变分目标进行端对端的学习。

    Nov, 2016

  • 利用多模态层次表示统一脑部磁共振 - 超声合成

    MHVAE 是一种深度分层变分自动编码器，用于合成不同模态的缺失图像，并可处理输入的不完整图像集。通过引入分层潜在结构的多模态 VAE 扩展，我们采用概率模型融合了多模态图像到共同的潜在表示，并采用对抗学习生成更清晰的图像。我们在关节术中超声和磁共振图像合成的具有挑战性的问题上进行了广泛实验。相对于多模态 VAE、条件 GAN 和当前最先进的统一方法（ResViT），我们的模型表现更好，显示了使用分层潜在表示和基于原则的概率融合操作的优势。我们的代码公开可用于 https://github.com/ReubenDo/MHVAE。

    Sep, 2023

  • CAVACHON：一种用于整合多模态单细胞数据的分层变分自编码器

    提出了一种新颖的概率学习框架，该框架明确地将多模态数据之间的条件独立关系作为一个有向无环图来考虑，用于集成单细胞多组学数据。

    May, 2024