Apr, 2024
基于 Transformer 的多模态脑卒中治疗分类结果预测
Transformer-Based Classification Outcome Prediction for Multimodal Stroke Treatment
Danqing Ma, Meng Wang, Ao Xiang, Zongqing Qi, Qin Yang
TL;DR本研究提出了一种基于 Transformer 架构和自注意机制的多模态融合框架 Multitrans，通过将非对比度计算机断层成像（NCCT）图像和中风治疗患者的出院诊断报告结合起来，使用一种基于 Transformer 架构的多种方法来预测中风治疗的功能结果。结果表明，单模态文本分类的性能明显优于单模态图像分类，但多模态组合的效果优于任何单模态。尽管 Transformer 模型在成像数据上的性能不佳，但当与临床元诊断信息结合时，两者都能学习到更好的互补信息，并为准确预测中风治疗效果做出良好贡献。