这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

AI 在医疗领域取得的最新突破有望从根本上提升我们对医疗的研究和理解。在这项工作中，我们介绍了 M3H 框架，它是一个可解释的多模态多任务医疗机器学习框架，能够从不同的多模态输入中学习，适用于各种医疗任务和机器学习问题类别，同时提供了有关任务相互依赖性动态的解释洞察。

Apr, 2024

机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

Nov, 2023

多模态人工智能系统能够通过解释各种类型的医疗数据来增强临床决策，本研究引入了一种利用大型语言模型作为中央推理引擎的多模态医疗人工智能的替代方法，通过验证该系统在临床肿瘤学场景中的表现，证实了语言模型能够作为专科、以患者为中心的临床助手的有效性。

Apr, 2024

通过综合一系列理论框架和应用领域，该论文旨在推进多传感器人工智能的机器学习基础。它首先提出了一个理论框架，形式化描述不同感知模态之间的相互作用，以获取任务的新信息。其次，研究了可广泛泛化于多个模态和任务的实用多模态基础模型的设计。最后，讨论了如何利用这些思想开展未来工作，以实现更普遍、互动和安全的多传感器人工智能。

Apr, 2024

本文介绍了多模态与跨模态人工智能技术在智能数据分析中的作用和应用，并提出了一个新的多模态与跨模态人工智能框架 (MMCRAI) 以平衡两种技术，在跨领域应用中取得良好的效果。

Sep, 2022

医疗中存在多模态的数据，需要基于多模态的数据编码、整合和解释的通用生物医学人工智能系统可以应用于从科学发现到医疗传递等多方面。为了开发这些模型，首先我们整理出一个新的多模态生物医学基准数据集，其中包括 14 个多样化的任务。然后我们引入了 Med-PaLM M，一个大型多模态生成模型，可以灵活地编码和解释临床语言、影像学和基因组学等生物医学数据，其在所有基准任务上的性能优于专家模型，并具备了零样本泛化、任务间正向迁移学习和零样本医学推理等特点。我们还对模型生成的胸部 X 射线报告进行了边际排名，默认情况下医生与 Med-PaLM M 报告相比在 40.50% 的情况下更青睐后者，这表明其具备潜在的临床效用。该研究为通用生物医学人工智能系统的开发提供了一个里程碑。

Jul, 2023

综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

Feb, 2024

我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

Jan, 2024

本文介绍了用于多模态、综合人工智能系统的开源框架 Platform for Situated Intelligence, 提供了基础设施、工具和组件，特别适用于发展物理场景互动系统，以便更好地与人交互，如社交机器人、虚拟助手、智能会议室等，同时也讨论了该框架对 HRI 的影响。

Oct, 2020