Sep, 2023

利用多模态层次表示统一脑部磁共振 - 超声合成

PDF
TL;DRMHVAE 是一种深度分层变分自动编码器，用于合成不同模态的缺失图像，并可处理输入的不完整图像集。通过引入分层潜在结构的多模态 VAE 扩展，我们采用概率模型融合了多模态图像到共同的潜在表示，并采用对抗学习生成更清晰的图像。我们在关节术中超声和磁共振图像合成的具有挑战性的问题上进行了广泛实验。相对于多模态 VAE、条件 GAN 和当前最先进的统一方法（ResViT），我们的模型表现更好，显示了使用分层潜在表示和基于原则的概率融合操作的优势。我们的代码公开可用于 https://github.com/ReubenDo/MHVAE。
mhvaevariational auto-encodermulti-modal imagesincomplete image setsadversarial learning
发现论文，激发创造
  • 可扩展的弱监督学习的多模态生成模型

    本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

    Feb, 2018

  • 多模态 VAEs 中的统一多样性：改进的表示学习

    用于多模态数据的变分自编码器在数据分析中具有许多任务的潜力，如表示学习、条件生成和插补。我们通过用软约束替换这些硬约束，提出了一种新的专家混合先验方法，软指导每个模态的潜编码向共享的聚合后验靠近，从而得到一个更好的潜编码表示，并提高了对缺失数据模态的填充能力。在多个基准数据集和具有挑战性的现实神经科学数据集上进行了广泛实验证明，与现有方法相比，学到的潜编码表示和缺失数据模态的插补有所改进。

    Mar, 2024

  • 异模态变分编码器 - 解码器用于联合模态完成和分割

    本研究提出了一种新的深度学习方法用于肿瘤分割，特别是在处理数据缺失时具备先进性。首先，将所有观察到的模态独立地嵌入到共享潜在表示中，然后从这个潜在表示中生成缺失数据和肿瘤分割。最后，通过将双方的优点与 3D U-Net 和多模态变分自编码器相结合，提出了一种新的网络结构。

    Jul, 2019

  • 深度生成模型的联合多模态学习

    本文介绍了一种基于深度生成模型的多模态交换方法，提出了条件独立的联合表示的概念，实现了对不同模态之间的高级概念进行双向交换，并通过对比实验表明该模型的有效性。

    Nov, 2016

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 多模式深度生成模型的变分混合专家自编码器

    本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

    Nov, 2019

  • InVA：整合型变分自编码器用于多模态神经影像数据的协调

    该研究论文介绍了一种名为 Integrative Variational Autoencoder（InVA）的方法，通过借用来自不同来源的多个图像的信息，捕捉了结果图像与输入图像之间的复杂非线性关联，并实现了快速计算，从而提供了在人脑磁共振成像（MRI）中从多个皮层结构测量中获得代价高昂的正电子发射断层摄影（PET）的高精度预测推断。

    Feb, 2024

  • 基于混合融合的多序列脑 MRI 综合合成统一框架

    提出了一种名为混合融合生成对抗网络（HF-GAN）的新型统一框架，通过多模式磁共振成像，使得通过补充信息来提供可靠的临床应用诊断。实验证明，该方法在数据插补任务中表现出优异的性能，并且比现有方法在定量和定性比较方面更加优越。

    Jun, 2024

  • 一种用于建模多尺度模糊的层次概率 U-Net

    提出一种用于鲜明可辨的多级细节分割的分割网络，Hierarchical Probabilistic U-Net，它采用基于条件变分自编码器的分层潜空间分解，可以在自动分离多个规模的独立因素的同时，学习跨规模的复杂结构分布，从而实现对医疗扫描的分割以及对神经生物学和自然图像实例分割的能力的提升。

    May, 2019

  • 跨越语言、视觉和行动：多模态 VAEs 在机器人操作任务中的应用

    我们关注机器人操作中无监督的视觉 - 语言 - 行为映射，探索多模态变分自编码器在无监督机器人操作任务中的应用，并提出一种模型不变训练方法，成功提高模型在模拟环境中的性能，并对个体任务的挑战进行了系统评估，揭示了当前多模态变分自编码器在基于视觉和语言的无监督机器人运动轨迹学习中的潜在优势和限制。

    Apr, 2024