Apr, 2023

缺失模态插值的统一多模态图像合成

PDF
TL;DR该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。
multi-modal medical imagesmissing modality imputationgenerative adversarial architecturecommonality- and discrepancy-sensitive encoderdynamic feature unification module
发现论文，激发创造
  • 医疗数据的多模态融合架构启用缺失模态

    本研究旨在开发一种对医疗数据具有鲁棒性的高效多模态融合架构，并进一步提高疾病诊断的性能。实验证明，我们提出的多模态融合架构有效地融合了三种模态并对缺失模态表现出较强的鲁棒性。该方法有望扩展到更多模态以增强模型的临床实用性。

    Sep, 2023

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 文本到图像模型在视觉模态缺失的多模态学习中的应用

    通过用生成式变压器填补缺失的视觉数据，我们提出了一个简单但有效的多模态学习框架 GTI-MM，以增强数据效率和模型的鲁棒性，尤其是对于缺少视觉模态的情况。我们在多个多模态数据集上进行了全面的分析，包括模型的训练，结果显示合成图像有助于训练数据的效率，并提高在训练和测试中缺失视觉数据的模型的鲁棒性。此外，我们证明了 GTI-MM 对于生成数量较低和简单提示技术也是有效的。

    Feb, 2024

  • 多模导向网络用于缺失模态推断

    提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

    Sep, 2023

  • 利用半监督的序列生成对抗网络进行双模式医学图像合成

    我们提出了一种基于顺序生成对抗网络（GAN）和半监督学习的双模医学图像合成方法，该方法包括两个生成模块，用于按顺序合成两种模式的图像。通过度量合成复杂性的方法自动确定顺序，首先合成较低复杂度的模式图像，然后再生成较高复杂度的模式图像。我们的顺序 GAN 在半监督方式下进行端到端训练，通过监督训练，从两种模式的真实配对图像中明确最小化真实和合成图像之间的重建损失来学习双模医学图像的联合分布；为了避免过拟合有限的训练图像，在无监督训练中，通过最小化真实图像和合成图像的 Wasserstein 距离学习每种模式的边际分布。我们通过基于三种评估指标和用户研究的两个合成任务全面评估了我们提出的模型。视觉和定量结果证明了我们的方法相对于现有方法的优越性，以及良好的视觉质量和临床重要性。代码公开可用于此 URL。

    Aug, 2023

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

    Oct, 2023

  • 处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

    提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

    Jun, 2024

  • 利用模态不变特征进行鲁棒性多模态情感识别（缺失模态）

    本研究提出了使用不变特征的缺失模态想象网络解决异构模态之间的模态差异问题，改善了缺失模态预测的鲁棒性并提升了多模态情感识别表现。

    Oct, 2022

  • 利用多模态层次表示统一脑部磁共振 - 超声合成

    MHVAE 是一种深度分层变分自动编码器，用于合成不同模态的缺失图像，并可处理输入的不完整图像集。通过引入分层潜在结构的多模态 VAE 扩展，我们采用概率模型融合了多模态图像到共同的潜在表示，并采用对抗学习生成更清晰的图像。我们在关节术中超声和磁共振图像合成的具有挑战性的问题上进行了广泛实验。相对于多模态 VAE、条件 GAN 和当前最先进的统一方法（ResViT），我们的模型表现更好，显示了使用分层潜在表示和基于原则的概率融合操作的优势。我们的代码公开可用于 https://github.com/ReubenDo/MHVAE。

    Sep, 2023

  • 不完整多模态情感数据的半监督深度生成建模

    本文提出了一种基于多视角深度生成性框架的新方法，通过多模式专用生成网络对多模态情感数据的统计关系进行建模，基于高斯混合分布对共享潜在变量的后验分布进行假设，以解决单一模式情感数据识别困难、手动注释代价高昂、情感数据存在缺失模态问题等问题，并在两种真实的多模态情感数据集上进行了实验验证。

    Jul, 2018