本文介绍了基于现代自监督学习算法的深度学习方法的最新进展，以及构建医学图像基础模型的相关工作。我们通过扩展性强的训练流程和综合分析不同超参数选择和训练技术，构建了一系列针对病理学图像的基础模型，并经过实验评估，在乳腺癌亚型分类和结肠癌核分割等不同任务上达到了最先进的性能水平。最后，为了统一领域内的评估方法并简化不同基础模型的比较，我们还提供了开源框架，用于在不同任务中一致评估病理学基础模型。

Mar, 2024

本文介绍了一种可以应用于内窥镜视频分析的基础模型 Endo-FM，其使用全局和局部视图进行自监督下预训练，并能够通过微调来应用于不同任务，其优于当前的自监督预训练和适配器转移学习方法。

Jun, 2023

内窥镜在识别胃肠道的潜在异常方面起着重要作用。最近，深度学习，特别是卷积神经网络（CNNs），在胃肠道内窥镜图像分析方面报道了显著的优势。然而，现有的模型大多关注性能的提高，缺乏开发在资源有限环境中运行的轻量级模型的重点。我们通过三种基于知识蒸馏学习框架进行研究，并引入了一种新颖的基于多头注意力的特征融合机制来支持基于关系的学习。在两个广泛使用的公共数据集 KVASIR-V2 和 Hyper-KVASIR 上进行了广泛的评估，实验结果表明了我们提出的基于关系的框架在实现资源有限环境中运行的改进轻量级模型（仅有 51.8k 可训练参数）方面的优点。

Aug, 2023

胃肠道粘膜变化可导致癌症，在此研究中利用深度学习技术预测了 polyps（息肉）、ulcerative colitis（溃疡性结肠炎）、esophagitis（食管炎）、normal z-line（正常 z 线）、normal pylorus（正常幽门）、normal cecum（正常盲肠）、dyed lifted polyps（涂染抬起息肉）和 dyed lifted margin（涂染抬起边缘）等八类粘膜变化和解剖标志，作者采用卷积神经网络（CNN）结构的迁移学习（TL）模型，并通过与 VGG、Inception、Xception 和 ResNet 等不同 CNN 架构进行比较，最佳模型在测试图像中达到了 93% 的准确率，最后，作者将模型应用于一些实际内窥镜和结肠镜的影像数据进行问题分类。

Jul, 2023

为了在临床实践中整合实时人工智能系统，需要解决数据可用性、数据质量和缺乏多样性数据集等挑战。为此，我们介绍了 GastroVision，一个多中心开放获取的胃肠内镜数据集，该数据集包括来自胃肠道的 24 种不同病理异常、息肉切除病例和正常发现，提供了大规模、精确标记的多样化数据集，并验证了数据集的重要性。我们相信，该数据集可以促进基于人工智能的胃肠疾病检测和分类算法的开发。

Jul, 2023

本文提出了一个利用深度学习来改善诊断失误率的框架，针对胃肠道癌症的诊断，利用端到端的师生学习方式，采用多类别学生网络来利用训练过的师范模型的类别概率，从而提高困难检测病变的定位并最小化漏检率，模型在两个数据集上都实现了更高的 mAP，并且具有泛化性。

Jul, 2022

基于基础模型的数据导向人工智能在改进医疗工作流程方面具有巨大潜力，涉及基础模型、计算医疗、数据记录、临床数据分析等关键领域。

Jan, 2024

通过提供医学成像领域基础模型的综合概述，本调查旨在帮助研究人员了解基础模型的基本概念、培训策略、计算要求以及在医学图像分析方面的机会、应用和未来发展方向。

Oct, 2023

基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

Jun, 2024

通过半自动化数据整理和引入病理学领域知识，我们扩展了数字病理学全幻灯片图像的基础模型的最新技术。我们的模型在公共和内部基准测试中表现良好，尽管使用的幻灯片数量比竞争模型少一个数量级。我们预计在更多数据和更大的模型规模下，我们的方法将进一步提高性能，并能够处理日益复杂的诊断和生物医学研究中的实际问题。

Jan, 2024