VisionFM 是一个用 340 万张眼科图像预训练的基础模型，具有眼科疾病诊断、人工智能和合成数据等功能。

Oct, 2023

人工智能（AI）在医学影像诊断和分割方面具有改革潜力，但其发展和临床应用面临多个挑战，包括数据有限性、泛化能力不足以及有效整合多模态数据的必要性。我们提出了一种新的基础模型 VISION-MAE，针对医学影像进行专门设计。VISION-MAE 是在包含各种模态（CT、MR、PET、X 射线和超声）的 250 万张未标记图像数据集上使用自监督学习技术进行训练的，并使用明确的标签对其进行分类和分割任务的自适应。VISION-MAE 具有较高的标签效率，在领域内外应用中表现优于几个基准模型，并且即使数据标注可用性减少，也能实现高性能。该模型代表了医学影像人工智能的重大进展，为改善分割和分类任务提供了具有泛化性和稳健性的解决方案，同时减轻了数据标注工作量。

Feb, 2024

本文综述了多模基础模型的分类和演变，重点关注从专业模型到通用助手的转变。研究领域包括两个核心主题：(i) 针对特定目的预训练的多模基础模型，包括学习视觉骨干进行视觉理解和文本到图像生成的方法；(ii) 旨在充当通用助手的多模基础模型的最新进展，包括受大型语言模型启发的统一视觉模型、多模语言模型的端到端训练以及将多模工具与语言模型相结合的方法。本文面向计算机视觉和视觉语言多模社区的研究人员、研究生和专业人士，他们渴望了解多模基础模型的基础知识和最新进展。

Sep, 2023

利用 100 万个开放源合成的眼底图像与自然语言描述，构建具有伦理基础的语言 - 图像模型 VisionCLIP，进行视网膜图像分析，并在零样本情况下在三个外部数据集上取得了竞争性能。

Mar, 2024

人工智能在医学影像应用中取得了专家级性能。然而，研究发现目前的视觉语言基础模型在胸部 X 射线诊断中普遍存在算法公平性问题，导致偏见对待历史上被边缘化的群体，并延迟特定人群的重要医疗护理，严重加剧现有的护理差异，对公平医疗保障带来挑战。

Feb, 2024

视觉系统、基础模型、环境中的上下文推理、训练目标和计算机视觉的挑战和研究方向的综述。

Jul, 2023

FLAIR 是一个用于通用视网膜底层图像理解的预训练视觉语言模型，它整合了专家领域知识，具有强大的泛化能力和优于全面训练模型的性能，尤其在少样本情况下，FLAIR 表现出色。

Aug, 2023

OpenMEDLab 是一个开放源代码平台，用于多模态基础模型，它不仅集成了前沿临床和生物信息学应用的大型语言和视觉模型的解决方案，还利用大规模多模态医学数据构建领域特定的基础模型。该平台还提供了各种医学图像模态、临床文本和蛋白工程等领域的预训练基础模型，并在各种基准测试中展示了激动人心的竞争结果。欢迎医学人工智能领域的研究人员不断为 OpenMEDLab 贡献前沿的方法和模型。

Feb, 2024

人工智能在医学领域具有巨大潜力，但传统上受限于缺乏大量的数据集来训练模型。我们提出了一种新颖的 Token Reconstruction 目标，用于训练 RETFound-Green，这是一个只使用了 75,000 张公开可用图像和 400 倍较少计算资源进行训练的视网膜基础模型。RETFound-Green 在效率和性能方面表现出色，并且可以用于其他领域的扩展。

Apr, 2024

通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

Oct, 2023