Oct, 2023

医疗系统规模下的计算病理学 -- 来自三十亿图像的自监督基础模型

PDF
TL;DR最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。
发现论文，激发创造
  • 大规模病理基础模型训练之路

    本文介绍了基于现代自监督学习算法的深度学习方法的最新进展，以及构建医学图像基础模型的相关工作。我们通过扩展性强的训练流程和综合分析不同超参数选择和训练技术，构建了一系列针对病理学图像的基础模型，并经过实验评估，在乳腺癌亚型分类和结肠癌核分割等不同任务上达到了最先进的性能水平。最后，为了统一领域内的评估方法并简化不同基础模型的比较，我们还提供了开源框架，用于在不同任务中一致评估病理学基础模型。

    Mar, 2024

  • 在多样病理数据集上进行自监督学习的基准测试

    本文介绍了最大规模的自监督学习预训练对计算病理学的影响，并在核实例分割等任务中证明其表现优越，并提出了领域特定技术来提高性能。

    Dec, 2022

  • 自路径：有限标注病理图像分类的自监督学习

    本文提出了一种自我监督的深度学习算法，采用 CNN 实现对病理图像的多任务分类，并结合具有内在标签的预处理任务来实现半监督学习和领域自适应。实验结果表明该算法在病理学图像分类任务中具有较高的性能表现，并能够适用于其他计算病理学应用领域中。

    Aug, 2020

  • Virchow：百万切片数字病理基础模型

    使用自监督学习方法，创建了 Virchow 计算病理学的 632 百万参数深度神经网络基础模型，以解决病理学任务中缺乏数据的挑战，并在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色，显示了预训练在病理学图像数据集上的重要性和潜力。

    Sep, 2023

  • 数字病理学的自监督对比学习

    本文介绍一种使用 SimCLR 方法进行自监督学习的无监督学习方法，该方法在数字病理学数据集上的预训练在多项下游任务中优于在 ImageNet 上预训练的网络，F1 平均分提高了 28% 以上。

    Nov, 2020

  • 自监督一致性训练用于高效组织病理图像分析

    利用基于多分辨率背景下组织病理全切片图像的潜在上下文线索的自我监督预训练任务，以及新型的师生半监督一致性模式，使用任务无关和任务特定无标签数据来学习强大的监督信号进行无监督表征学习，并在有限标签数据下表现出与其他现有最先进方案相近乃至优越的性能。

    Feb, 2021

  • RudolfV: 病理学家为病理学家打造的基础模型

    通过半自动化数据整理和引入病理学领域知识，我们扩展了数字病理学全幻灯片图像的基础模型的最新技术。我们的模型在公共和内部基准测试中表现良好，尽管使用的幻灯片数量比竞争模型少一个数量级。我们预计在更多数据和更大的模型规模下，我们的方法将进一步提高性能，并能够处理日益复杂的诊断和生物医学研究中的实际问题。

    Jan, 2024

  • 一种面向计算病理学的通用自监督模型

    使用超过 100 万个组织样本预训练的自我监督模型 UNI，在计算病理学中取得了巨大的突破，具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力，为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。

    Aug, 2023

  • 组织病理学的领域特定优化和多样化自监督模型评估

    建立和评估组织病理学基础模型在自我监督学习中的价值，并发现领域特定方法可以进一步提高性能。

    Oct, 2023

  • 自适应自我监督学习在计算病理学中的应用

    对自我监督学习算法在计算病理学中的适应性进行了研究，包括提出了针对病理图像特点的增强方法、正则化函数和位置编码，并通过多个基准测试评估了这些改进对算法性能的影响。

    May, 2024