MedM2G：通过视觉不变性的交叉引导扩散实现医学多模态生成的统一
该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。
Apr, 2023
本研究介绍了医学视觉通用模型（MVG），它是第一个能够在统一的图像生成框架内处理各种医学图像任务的基础模型，包括跨模态合成、图像分割、降噪和修复等。通过将这些任务作为图像生成过程，在参考图像 - 标签对和输入图像的条件下实现灵活统一各种任务的方法，并结合蒙版图像建模和自回归训练的混合方法，以获得最稳健的性能。我们建立了第一个全面的通用医学视觉基准，涵盖了 13 个数据集和四种成像模态（CT、MRI、X 光和微超声），结果表明 MVG 具有优异的性能，在各种医学成像任务中表现优于现有的视觉通用模型，并且 MVG 在更多样化任务的训练下表现出可扩展性强，甚至在只有少量特定任务样本的情况下也能适应未见过的数据集。
Jun, 2024
通过生成逼真且多样化的医学 2D 和 3D 图像，基于指令的文本导向潜在扩散模型 MediSyn 为算法的训练和研究提供了一个丰富且尊重隐私的资源，并通过已建立的指标展示了在医学图像和视频综合中以文本提示为导向的显著改进。
May, 2024
本文提出了一种基于多粒度跨模态对齐的框架，通过利用病理区域级别、实例级别和疾病级别上医学图像和放射学报告之间的自然语义一致性来学习泛化的医学视觉表征，实验结果表明，该方法在涵盖了图像分类、物体检测和语义分割等七个下游医疗图像任务上表现出稳定和卓越的性能。
Oct, 2022
通过对 Med-Gemini 的多模态模型进行改进，我们在医学领域开发了几个 Med-Gemini 系列模型，通过二维和三维放射学、组织病理学、眼科学、皮肤科学和基因组学数据的微调，继承了 Gemini 的核心能力，并创立了 AI 基于 X 射线的报告生成的新标准，并在多项医学任务中超越了现有基线模型表现。
May, 2024
我们介绍一种名为 HetMed 的图形框架，可以将多模态医疗数据融合在一起，这通过构造一个多重网络来实现，该网络涵盖患者的多种非图像特征，以系统的方式捕捉患者之间的复杂关系，从而实现更准确的临床决策，并在各种实际数据集上证明了 HetMed 的优越性和实用性。
Nov, 2022
机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。
Jul, 2023
本研究提出了一种多模态图学习框架（MMGL）来预测疾病，该框架对每种模式的特征进行聚合，通过自适应图学习来捕获患者之间的内在联系，并在两个疾病预测任务上获得了更好的性能。
Mar, 2022