异模态变分编码器 - 解码器用于联合模态完成和分割

Jul, 2019

异模态变分编码器 - 解码器用于联合模态完成和分割

Hetero-Modal Variational Encoder-Decoder for Joint Modality Completion and Segmentation

Reuben Dorent, Samuel Joutard, Marc Modat, Sébastien Ourselin, Tom Vercauteren

TL;DR本研究提出了一种新的深度学习方法用于肿瘤分割，特别是在处理数据缺失时具备先进性。首先，将所有观察到的模态独立地嵌入到共享潜在表示中，然后从这个潜在表示中生成缺失数据和肿瘤分割。最后，通过将双方的优点与 3D U-Net 和多模态变分自编码器相结合，提出了一种新的网络结构。

Abstract

We propose a new deep learning method for tumour segmentation when dealing with missing imaging modalities. Instead of producing one network for each possible subset of observed modalities or using arithmetic ope

deep learning tumor segmentation missing data variational auto-encoder imaging modalities

发现论文，激发创造

HeMIS: 异模态图像分割

介绍了一种基于深度学习的图像分割框架，其针对缺失成像模态具有极强的鲁棒性，通过学习每个模态的嵌入向量，实现任意组合的输入，可用于神经疾病 MRI 数据的分割，具有最先进的效果。

Jul, 2016

处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

Jun, 2024

揭示不完整模态脑肿瘤分割：利用掩蔽预测自编码器和发散学习

通过使用 masked predicted pre-training 和 knowledge distillation 技术，以及采用 Holder pseudo-divergence 代替 KLD 作为 distillation loss，该研究在多模式磁共振成像中对脑肿瘤进行分割，取得了显著的性能提升。

Jun, 2024

利用多模态层次表示统一脑部磁共振 - 超声合成

MHVAE 是一种深度分层变分自动编码器，用于合成不同模态的缺失图像，并可处理输入的不完整图像集。通过引入分层潜在结构的多模态 VAE 扩展，我们采用概率模型融合了多模态图像到共同的潜在表示，并采用对抗学习生成更清晰的图像。我们在关节术中超声和磁共振图像合成的具有挑战性的问题上进行了广泛实验。相对于多模态 VAE、条件 GAN 和当前最先进的统一方法（ResViT），我们的模型表现更好，显示了使用分层潜在表示和基于原则的概率融合操作的优势。我们的代码公开可用于 https://github.com/ReubenDo/MHVAE。

Sep, 2023

可扩展的弱监督学习的多模态生成模型

本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

Feb, 2018

鉴别性哈密顿变分自编码器在数据稀缺情况下精准肿瘤分割

通过提出基于 Hamiltonian 变分自动编码器（HVAE）和区别性正则化的新的端到端混合架构，我们的方法可以准确估计图像和蒙版的联合分布，从而生成具有较少伪影和离群实例的逼真医学图像。通过在丰富增强的数据集上以切片方式操作，我们的架构可以快速且准确地分割 3D 体积，在 BRATS（MRI 模态）和 HECKTOR（PET 模态）两个公开数据集上的实验证明了我们提出的方法在有限数据的不同医学成像模态上的有效性。

Jun, 2024

通过潜在的多源相关表示进行缺失模态的脑肿瘤分割

本文提出了一种新颖的相关性表示块，其可以在缺失模态的情况下发现潜在的多源相关性，并通过注意机制将模态间的相关性表示融合成一个共享表示，从而提高脑肿瘤分割的鲁棒性，并在 BraTS 2018 数据集上取得了最新的最佳表现。

Mar, 2020

多模式深度生成模型的变分混合专家自编码器

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019

深度生成模型的联合多模态学习

本文介绍了一种基于深度生成模型的多模态交换方法，提出了条件独立的联合表示的概念，实现了对不同模态之间的高级概念进行双向交换，并通过对比实验表明该模型的有效性。

Nov, 2016

基于特征分离和门控融合的鲁棒多模式脑肿瘤分割

本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。

Feb, 2020