统一建模增强的精准神经肿瘤多模态学习
机器学习在医生对病人的发展趋势获得洞察力方面受到越来越多的关注。我们提出了一种名为多模态 UMLS 图神经网络学习（MMUGL）的新方法，用于使用基于统一医学语言系统的知识图上的图神经网络学习医学概念的有意义的表示。这些表示被聚合表示整个病人就诊情况，然后输入到序列模型中以在病人的多次医院就诊的粒度上进行预测。我们通过整合先前的医学知识并考虑多种模态来提高性能。我们将我们的方法与用于不同粒度上学习表示的现有架构在 MIMIC-III 数据集上进行比较，并展示出我们的方法优于这些方法。结果表明了基于先前的医学知识的多模态医学概念表示的重要性。
Jul, 2023
通过分解组织学图像和基因组学的特征子空间，反映不同的肿瘤和微环境特征，我们提出了一种生物解释性和稳健的多模态学习框架，以高效地整合组织学图像和基因组学，从而解决了肿瘤生态系统中肿瘤和微环境共同增加恶性的内在复杂性问题。
Jun, 2024
本文提出了一种解释性的、端到端的多模态融合策略 —— Pathomic Fusion，它基于组织学图像和基因组学（突变、CNV、RNA-Seq）特征，模型化跨模式的特征交互，并通过基于门控的注意机制控制每个表示的表现力，以提高生存结果预测的准确性，从而有助于其他医学问题的解决。
Dec, 2019
一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。
May, 2024
采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构 —— 混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。
Nov, 2023
本研究提出了多模态 Lego（MM-Lego）框架，它是一个模块化和通用的融合和模型合并方法，可以将任何一组编码器转化为具有竞争力的多模态模型，不需要或仅需要进行最小的微调。通过引入对单模态编码器的包装，MM-Lego 强制实施模态之间的轻量级维度假设，并通过在频域学习特征来协调它们的表示，以使模型合并时干扰最小。实验证明，MM-Lego 可以作为模型合并的方法，达到了与端到端融合模型相媲美的性能，而无需进行任何微调；它可以在任何单模态编码器上运行；并且通过最小的微调，可以在六个基准多模态生物医学任务上实现最先进的结果。
May, 2024
基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。
Apr, 2024
我们介绍了 U3M：一种用于多模态语义分割的无偏多尺度模态融合模型，其通过有效提取和整合全局和局部特征，实现了在多个数据集上的优越性能，并证实了在各种环境中增强语义分割的鲁棒性和多样性。
May, 2024
本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。
May, 2023