本研究提出并评估了一种综合人工智能在医学领域的框架（HAIM），以促进利用多模态输入实现人工智能系统的生成和测试, 该框架可在医疗保健环境中进行研究和部署, 并通过使用 Shapley值量化每个模态和数据源的贡献，展示了多模态输入在不同医疗任务中的必要性。

Feb, 2022

这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的AI方法。通过对34个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

Oct, 2022

提出了一种基于Medical-knOwledge-enhanced mulTimOdal pretRaining (MOTOR)模型的医学人工通用智能模型，通过融合不同的基本医学知识，实现了对于医学预训练模型较好的跨模态对齐，形成了一种医疗智能基础模型，引入指导性知识在下游任务中展示了优异的可解释性和潜力。

Apr, 2023

多模态机器学习和联邦学习在医疗领域具有重要意义，并提出了多模态联邦学习在医疗领域的最新方法。此外，研究还揭示了领域中现有挑战的局限性，并提出了未来发展的方向，以满足医疗应用中尖端人工智能技术和患者数据隐私的迫切需求。

Oct, 2023

通过综述大型语言模型在医学领域中的应用和意义，揭示了它们在知识检索、研究支持、临床工作流自动化和诊断辅助等方面的效用，并探索了多模态语言模型以及自动化代理在医疗保健中的发展潜力。然而，为了有效地将这些模型整合到临床实践中，需要不断优化和进行伦理监管。

Nov, 2023

机器学习在医疗人工智能系统中的应用，从传统和统计方法转向深度学习模型甚至最近的生成模型。近年来，发现了支持多模态数据集成的广泛可用的深度学习架构，尤其是针对图像的。将多种模态融入到这些模型中是一个蓬勃发展的研究课题，提出了独特的挑战。本文讨论了针对医学基于图像的临床决策支持模型的多模态人工智能的五大挑战（表示、融合、对齐、翻译和协同学习），并调查了近期解决这些挑战的方法。我们最后讨论了该领域的未来，并提出了在成功的临床模型及其在临床环境中的转化方面应进一步阐明的方向。

Nov, 2023

综述了在医疗保健领域中的多模态机器学习方法，包括使用各种数据模态进行临床诊断、融合技术、多模态数据集和训练策略的评估。

Feb, 2024

通过综合一系列理论框架和应用领域，该论文旨在推进多传感器人工智能的机器学习基础。它首先提出了一个理论框架，形式化描述不同感知模态之间的相互作用，以获取任务的新信息。其次，研究了可广泛泛化于多个模态和任务的实用多模态基础模型的设计。最后，讨论了如何利用这些思想开展未来工作，以实现更普遍、互动和安全的多传感器人工智能。

Apr, 2024

AI在医疗领域取得的最新突破有望从根本上提升我们对医疗的研究和理解。在这项工作中，我们介绍了M3H框架，它是一个可解释的多模态多任务医疗机器学习框架，能够从不同的多模态输入中学习，适用于各种医疗任务和机器学习问题类别，同时提供了有关任务相互依赖性动态的解释洞察。

Apr, 2024

本研究针对当前生物医学人工智能方法只限于少数医学模态和任务的问题，提出了MultiMed基准，旨在评估和促进大规模学习，涵盖十种医学模态和多个任务。研究发现，跨模态和任务的训练能显著提升模型在真实世界中的鲁棒性和预测性能，这为未来的多模态医学工具开发提供了重要的基础。

Aug, 2024