我们提出了一种融合 - 分叉学习框架，用于从多模态图像进行生存预测，并在融合编码器中使用混合并行交叉注意力块（HPCA）来融合多模态特征，并在分叉解码器中使用区域特定注意力门（RAG）块来筛选与病变区域相关的特征。我们的框架在头颈部 PET-CT 图像的生存预测中得到了验证，并在公共数据集上的实验结果表明，我们的网络（XSurv）优于现有的生存预测方法。

Jul, 2023

针对脑癌中最具侵略性和最致命的类型之一，我们提出了一种新的方法，BRAINNET，利用 MaskFormer 和神经网络生成强大的脑肿瘤分割掩膜，该方法在 MRI 图像中获得了前所未有的高准确率。

Nov, 2023

提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

Jul, 2023

本研究提出了一种基于 Transformer 架构和自注意机制的多模态融合框架 Multitrans，通过将非对比度计算机断层成像（NCCT）图像和中风治疗患者的出院诊断报告结合起来，使用一种基于 Transformer 架构的多种方法来预测中风治疗的功能结果。结果表明，单模态文本分类的性能明显优于单模态图像分类，但多模态组合的效果优于任何单模态。尽管 Transformer 模型在成像数据上的性能不佳，但当与临床元诊断信息结合时，两者都能学习到更好的互补信息，并为准确预测中风治疗效果做出良好贡献。

Apr, 2024

本研究介绍了一种新的方法，利用迁移学习技术准确检测和预测高度恶性脑胶质母细胞瘤的生存和分级。实验结果表明，该方法在生存预测方面达到 65% 的准确率，将患者分为短期、中期和长期生存三个类别；在肿瘤分级方面达到 97% 的准确率，可以准确区分低级别和高级别脑胶质母细胞瘤。迁移学习的有效性使得这种方法超越了现有的最先进方法，为改进脑胶质母细胞瘤患者的诊断和治疗方法提供了希望。

Feb, 2024

我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。

Nov, 2023

我们提出了一个基于 Transformer 的诊断辅助模型，可以以统一的方式处理多模态输入，该模型在辨别肺部疾病方面表现出了比仅使用图像模型和非统一多模态诊断模型更高的识别率，并在 COVID-19 患者的不良临床预后方面表现出了更高的预测能力。

Jun, 2023

一个新的端到端框架 FORESEE，通过挖掘多模态信息来稳健地预测患者生存情况，同时利用细胞水平、组织水平和肿瘤异质性水平的丰富语义特征，解决了多模态数据的缺失问题，并通过交叉尺度特征融合方法，提高了病理图像特征表征能力。

May, 2024

通过将组织病理图像、遗传数据和临床数据整合，构建了一种新颖的深度学习方法，使用视觉转换器和自注意力机制在病人层面上提取图像特征和捕获图像关系，同时采用双交叉注意力机制结合遗传数据，并在最终层级上加入临床数据以提高预测准确性，通过在公共 TCGA-BRCA 数据集上的实验，表明使用负对数似然损失函数训练的模型能够取得卓越的性能，均值 C 指数为 0.64，超过现有方法，为制定个体化的治疗策略提供了便利，潜在地改善了患者预后。

Feb, 2024

本研究提出了 MM-GTUNets，一种基于图变换器的多模态图深度学习（MMGDL）框架，用于大规模脑疾病预测，并通过验证在 ABIDE 和 ADHD-200 两个公共多模态数据集上证明了其优越性能。

Jun, 2024