本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

Feb, 2024

在大数据时代，将多样化的数据模态融合在一起对于像医疗保健等复杂领域来说是一项巨大的挑战。本文介绍了一种新的多模态数据融合数据挖掘过程模型，将嵌入和跨行业标准数据挖掘流程与现有的数据融合信息团组合模型相结合。我们的模型旨在降低计算成本、复杂性和偏差，同时提高效率和可靠性。我们还提出了一种名为 “分离的密集融合” 的新型嵌入融合方法，旨在优化互信息和促进稠密的跨模态特征交互，从而最小化冗余信息。我们通过三个案例展示了该模型的有效性：使用视网膜图像和患者元数据预测糖尿病性视网膜病变、使用卫星图像、互联网和人口普查数据预测家庭暴力，以及从放射影像和临床笔记中识别临床和人口统计特征。该模型在糖尿病性视网膜病变预测中的宏 F1 分数为 0.92，在家庭暴力预测中的 R 方为 0.854，sMAPE 为 24.868，在放射学分析中的宏 AUC 分别为 0.92 和 0.99，这些结果凸显了数据挖掘模型在多模态数据处理中的潜力，推动其在不同的资源受限环境中的应用。

Apr, 2024

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

Oct, 2017

通过提出一种通用模块化的三维患者建模方法，即多模式关键点检测模块与自监督三维网格回归模块的结合，在实际临床场景中实现了改善关键点定位的稳健性和概括性，并取得了优越的患者定位性能。

Mar, 2024

在计算机辅助肿瘤诊断和治疗中，精确分割 PET/CT 图像对癌症的诊断和治疗非常重要。本文提出了一种新颖的多模态证据融合网络（MEFN），通过交叉模态特征学习（CFL）模块和多模态可信融合（MTF）模块，以有效整合 PET 和 CT 图像中的互补信息并考虑模态不确定性，进而提高肿瘤分割的准确性和可信度。通过在两个公开的 PET/CT 数据集上进行广泛的对比实验，结果表明我们的方法在 DSC 评分上分别比现有方法提高了 2.15% 和 3.23%。此外，我们的模型还能够为放射科医生提供可信的分割结果不确定性，对于临床应用非常重要。

Jun, 2024

提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

Nov, 2023

本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

Dec, 2019

通过频率引导的注意力机制，交叉注意力融合和损失函数来实现多模式医学图像融合，提高融合图像的质量和保留细节。

Oct, 2023

通过利用卷积神经网络，提出了一种基于多层多模态融合模型的新型深度学习疾病检测模型，能够从不同层次提取特征并融合它们，在胸部 X 射线图像的疾病分类中取得了高达 97.21% 和 99.60% 的显著准确率，具有准确的疾病分类潜力，并可推广至其他胸部 X 射线图像中的疾病分类。

Jan, 2024