Apr, 2024

具有重构预训练和异质性抗干扰调节的统一多模式诊断框架

PDF
TL;DR提出了一种统一的医学多模态诊断 (UMD) 框架，包括量身定制的预训练和下游调优策略，以解决医学多模态预训练面临的数据和模态异质性挑战，在五个公共医学数据集上的广泛实验表明我们的 UMD 框架在三种下游任务上显著优于现有方法。
medical multi-modal pre-trainingdiagnosisdownstream tasksheterogeneity challengesumd framework
发现论文，激发创造
  • 颠覆性的自编码器：利用低级特征进行三维医学图像预训练

    本文提出了一种针对 3D 医学放射图像的高效预训练框架，结合局部屏蔽和低层扰动，利用交叉模态对比损失实现多模态预训练，且在多个下游任务中取得了最先进的性能表现。

    Jul, 2023

  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 跨模态医学图像 - 报告检索的掩码对比重建

    提出了一种名为蒙版对比与重建（MCR）的高效 VLP 框架，以蒙版数据作为两个任务的唯一输入，增强任务之间的连接，并显著减少所需的 GPU 内存和训练时间。通过映射不同的模态到一个公共特征空间，然后进行局部特征聚合，减少细粒度语义信息的损失，从而降低了 fine-grained 的模态对齐所需要的 gpu 内存和时间。在 MIMIC-CXR 数据集上进行的定性和定量实验验证了该方法的有效性，并展示了在医学跨模态检索任务中的最先进性能。

    Dec, 2023

  • 语言引导下统一的医学图像预训练在共同语义空间中

    借助统一的语义空间，UniMedI 提出了一种统一医学图像预训练框架，能够有效地为不同模态的医学图像创建统一的表示，并通过改进对 2D 和 3D 图像的分析和解释来提高一致性和性能。

    Nov, 2023

  • 多数据集预训练：用于语义分割的统一模型

    本研究提出了一个名为多数据集预训练的统一框架，利用来自不同数据集的注释，通过像素级原型对比损失和跨数据集混合来扩展像素级嵌入，进而显式建模关于像素类的相似度，在多个基准测试上实现了卓越的性能。

    Jun, 2021

  • 克服生物医学影像数据稀缺问题的基础多任务模型

    提出了一种多任务学习策略，使用 bioMedical PreTrained 模型（UMedPT）在包括断层、显微和 X 光图像的多任务数据库上进行训练，其在预训练数据库相关任务上具有卓越性能，且对于领域外任务仅需少量训练数据便可保持优越性能，对于跨中心可转移性，UMedPT 提取的影像特征成为新的标准。

    Nov, 2023

  • 医学视觉与语言预训练的多模态掩码自编码器

    提出了一种基于 M$^3$AE 的自监督学习模型，通过随机遮盖图像和文本中的像素和标记来学习跨模态领域知识的医学视觉语言模型，并在三个任务上实现了最先进水平的结果。

    Sep, 2022

  • MGI: 基因组和医学影像的多模态对比预训练

    提出了一种多模态预训练框架，通过整合基因组学和医学图像数据，在肿瘤分割任务中优于相关方法。

    Jun, 2024

  • MultiMAE: 多模态多任务掩蔽自编码器

    提出了一种称为 MultiMAE 的预训练策略，通过掩蔽解决了网络输入多样性和预测任务多样性的问题，从而实现可靠的跨模态与任务预测编码和转移学习。

    Apr, 2022