通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

May, 2024

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

Feb, 2024

研究简述：为了在小数据集上避免过拟合，提出使用额外监督、临床预测和密集融合三种简单方法进行改进的多模态融合，以帮助优化。提出的方法可以应用于任何具有配对图像和非图像数据的分类任务，本研究在前列腺癌诊断方面进行了验证。

Apr, 2023

本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。融合策略组件旨在确定适合特定疾病识别任务的最佳融合模式。在实验部分，我们比较了拟议的多模态融合模型与现有的单模态识别方法的性能。研究结果表明，在多个评估指标上，多模态融合模型具有显著的优势。

May, 2024

通过深度学习，本文调查了逾 150 篇研究，主要关注使用深度学习的多模态癌症检测的数据集以及解决各种挑战的方案，如数据注释、类别差异、小规模损伤和遮挡等。同时概述了每种方法的优点和缺陷，并讨论了当前工作范畴以及未来多模态癌症检测的发展方向。

Dec, 2023

本综述研究了多模态深度学习（MDL）在医学图像和文本联合学习中的应用及其在医学中的潜在价值，并提出了未来方向和挑战。

Jul, 2023

我们介绍一种名为 HetMed 的图形框架，可以将多模态医疗数据融合在一起，这通过构造一个多重网络来实现，该网络涵盖患者的多种非图像特征，以系统的方式捕捉患者之间的复杂关系，从而实现更准确的临床决策，并在各种实际数据集上证明了 HetMed 的优越性和实用性。

Nov, 2022

基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

Sep, 2023