以神经网络和多任务逻辑回归为基础的深度多模态机器学习方法，可提高癌症患者特定生存率的准确预测，其二年AUROC为0.774，C指数为0.788。

Dec, 2020

这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

Mar, 2022

本研究旨在开发一种对医疗数据具有鲁棒性的高效多模态融合架构，并进一步提高疾病诊断的性能。实验证明，我们提出的多模态融合架构有效地融合了三种模态并对缺失模态表现出较强的鲁棒性。该方法有望扩展到更多模态以增强模型的临床实用性。

Sep, 2023

我们提出了一种名为Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN)的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。

Nov, 2023

采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构——混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。

Nov, 2023

基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架——互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型-表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近3600个Gigapixel WSIs进行实验，广泛的实验结果一致表明MGCT优于现有的最先进方法（SOTA）。

Nov, 2023

多模态医学数据的持续自监督学习方法MedCoSS具有卓越的泛化能力和可扩展性。

Nov, 2023

基于多模态学习的鉴别性淋巴结转移诊断模型，在临床医学实践中，通过双向蒸馏框架获得全面的多模态知识和稳健的WSI特征，有效地处理多模态数据和丢失模态，提高早期乳腺癌患者治疗决策的准确性。

Jan, 2024

本研究解决了非小细胞肺癌（NSCLC）的早期检测和亚型分类的复杂问题，通过融合CT和PET扫描图像、临床健康记录及基因组数据，提出了一种创新的多模态数据整合方法。研究结果表明，该新方法在NSCLC检测和分类的精度上取得了显著提升，准确率达94.04%，具有潜在的转变诊断和治疗规划的影响。

Sep, 2024

本研究解决了现有肺癌生存预测方法在多模态数据整合方面的不足。论文提出了一种新颖的方法，通过整合CT、PET扫描和基因组数据，构建一个鲁棒的生存结果预测模型，并利用跨患者模块增强相似患者的嵌入对齐。实验结果表明，该方法在生存预测方面超越了现有最先进的技术，具有重要的临床应用价值。

Sep, 2024