基于边缘保持稠密自编码器网络的多模态医学图像的端到端无监督融合模型，通过波尔特分解的特征图注意力池化改进了特征提取过程，提高了源图像中精细边缘细节信息的保留和融合图像的视觉感知。通过在多种医学图像对上训练，有效地捕捉源图像的强度分布和保留诊断信息。实验结果表明，与其他最先进的融合方法相比，所提出的方法提供了改进的视觉和定量结果。

Oct, 2023

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

通过频率引导的注意力机制，交叉注意力融合和损失函数来实现多模式医学图像融合，提高融合图像的质量和保留细节。

Oct, 2023

通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

May, 2024

该论文提出了一种使用自注意力融合模块与互相学习方法来进行文档图像分类的新模型， 在单模态和多模态数据集上均优于当前最先进技术。

May, 2023

本文提出了一种新型的 LCAUnet 用于改善传统方法中经常被忽视的边缘和身体特征结合的能力，通过局部交叉注意力操作在编码器阶段融合边缘和身体的特征图，进一步嵌入 PGMF 模块进行特征集成，实验证明 LCAUnet 在公共可用数据集 ISIC 2017、ISIC 2018 和 PH2 上表现优于大多数最先进的方法，该方法有利于皮肤病变的精确分割。

May, 2023

采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构 —— 混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。

Nov, 2023

本研究利用 transformer-based 架构实现了单阶段多模态数据融合，并在图像与病患数据丰富的环境下击败了其他单模态和多模态深度学习架构，同时，所选架构还提供了本地可解释性支持。

Apr, 2023

本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。融合策略组件旨在确定适合特定疾病识别任务的最佳融合模式。在实验部分，我们比较了拟议的多模态融合模型与现有的单模态识别方法的性能。研究结果表明，在多个评估指标上，多模态融合模型具有显著的优势。

May, 2024

创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

Oct, 2023