提出自我监督学习方法，用弱语义相关数据从互联网爬取数据进行预训练，快速适应不同下游任务的基础模型，该模型具有良好的想象能力，实现了从弱人工智能到强人工智能的跨越。

Oct, 2021

本篇综述回顾了人工通用智能模型在医疗保健中的潜在应用，重点关注了基于大型自然语言模型、大型视觉模型和大型多模态模型的基础，强调了整合临床专业知识、领域知识和多模态能力到人工通用智能模型中的重要性，并阐述了指导医疗保健人工通用智能模型开发和部署的关键路线图，提供了有关在医疗领域部署大规模人工通用智能模型所面临的潜在挑战和风险的关键观点。该综述旨在为人工通用智能在医学影像、医疗保健及其他领域的未来可能应用提供启示。

Jun, 2023

提出了 MedAGI 作为一个将领域特定的医学 LLM 统一起来的新兴范式，将自适应专家选择算法应用于解决由于缺少数据和保护隐私而导致的交叉培训挑战，并在皮肤科、X 光诊断和病理学图像分析领域进行了评估，结果表明 MedAGI 具有出色的通用性和可扩展性。

Jun, 2023

提出了一种多模态预训练框架，通过整合基因组学和医学图像数据，在肿瘤分割任务中优于相关方法。

Jun, 2024

医疗中存在多模态的数据，需要基于多模态的数据编码、整合和解释的通用生物医学人工智能系统可以应用于从科学发现到医疗传递等多方面。为了开发这些模型，首先我们整理出一个新的多模态生物医学基准数据集，其中包括 14 个多样化的任务。然后我们引入了 Med-PaLM M，一个大型多模态生成模型，可以灵活地编码和解释临床语言、影像学和基因组学等生物医学数据，其在所有基准任务上的性能优于专家模型，并具备了零样本泛化、任务间正向迁移学习和零样本医学推理等特点。我们还对模型生成的胸部 X 射线报告进行了边际排名，默认情况下医生与 Med-PaLM M 报告相比在 40.50% 的情况下更青睐后者，这表明其具备潜在的临床效用。该研究为通用生物医学人工智能系统的开发提供了一个里程碑。

Jul, 2023

该研究全面探讨了多模态人工智能方法在教育环境中实现通用人工智能的途径，着重分析了人工智能在教育系统中的演进和整合，强调多模态学习（包括听觉、视觉、动觉和语言学习）的重要作用，研究深入探讨了通用人工智能的关键方面，包括认知框架、高级知识表示、自适应学习机制、战略规划、复杂语言处理和多样的多模态数据源整合，并批判性评估了通用人工智能在重塑教育范式、提高教学和学习效果、填补现有方法论空白以及在教育环境中解决伦理考量和负责任使用方面的潜力。该论文还讨论了多模态人工智能在教育中的意义，并提供对通用人工智能发展中未来方向和挑战的洞察。这项研究旨在为人工智能、多模态和教育的交叉领域提供细致的理解，为通用人工智能的未来研究和发展奠定基础。

Dec, 2023

结合计算机视觉和自然语言处理，提出了一种多模态学习方法来改善胃肠道图像上的视觉问答性能，通过 BERT 编码器和基于卷积神经网络（CNN）和 Transformer 架构的不同预训练视觉模型从问题和内窥镜图像中提取特征，结果显示 Transformer-based 视觉模型在 CNN 上具有优势，并展示了图像增强过程的有效性。

Jul, 2023

OpenMEDLab 是一个开放源代码平台，用于多模态基础模型，它不仅集成了前沿临床和生物信息学应用的大型语言和视觉模型的解决方案，还利用大规模多模态医学数据构建领域特定的基础模型。该平台还提供了各种医学图像模态、临床文本和蛋白工程等领域的预训练基础模型，并在各种基准测试中展示了激动人心的竞争结果。欢迎医学人工智能领域的研究人员不断为 OpenMEDLab 贡献前沿的方法和模型。

Feb, 2024

Gemini 模型在医学应用领域的卓越表现面临着挑战，要求先进的推理能力、获取最新的医学知识和理解复杂的多模态数据。该研究引入了 Med-Gemini，一类在医学领域具有高度实用性的多模态模型，能够无缝地使用网络搜索，并可以通过定制编码器高效地适应新的模态特征。在 14 个医学基准测试中，Med-Gemini 取得了新的最佳性能，超过了 GPT-4 模型系列，并在多模态基准测试中取得了相对较大的提升。该研究通过突破先前的方法，在长期匿名健康记录和医学视频问答方面展示了 Med-Gemini 的长语境能力和非凡性能，并在医学文本摘要等任务上超越人类专家。尽管在这个安全关键领域中，需要进一步的严格评估，但我们的结果提供了 Med-Gemini 潜力的有力证据。

Apr, 2024

MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

Oct, 2022