一种面向计算病理学的通用自监督模型
本文通过训练多种自监督模型,发现采用基于DINO知识蒸馏的Vision Transformers模型能够实现对组织形态学特征进行有效解释,在多个弱监督和补丁级任务上进行了验证。
Mar, 2022
最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型,该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型,并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明,与自然图像的预训练相比,病理数据的预训练对下游性能是有益的。此外,DINO算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化,为基于大规模、并行预训练的更高性能模型开辟了新时代。
Oct, 2023
人工智能(AI)在大规模数字化临床数据集上训练系统以提高健康结果方面具有巨大潜力。计算病理学作为对诊断和生物标志物具有重大影响的大量显微镜图像数据,处于这一发展的前沿。百亿像素病理学切片由于其巨大的尺寸而面临独特挑战,通常被分成数万个较小的瓷砖进行分析。我们提出了一种新方法,通过在内存中全面高分辨率地同时训练瓷砖编码器和整个切片聚合器来解决这个问题,弥合了输入和切片级监督之间的差距。虽然计算成本更高,但详细的定量验证显示了病理基础模型的大规模预训练的前景。
Mar, 2024
该研究提出了一种轻量级的病理学FM,即PLUTO,它在多个病理学尺度上从多个WSI中抽取有意义的表示,以支持多样化的病理学任务,包括实例分割、瓦片分类和幻灯片级别预测,并通过在多个基于生物的任务、组织类型、分辨率、染色和扫描仪的外部和内部基准测试中的表现,证明PLUTO相当于或优于现有的基线和基础模型。该研究为病理图像分析提供了通用嵌入的发展方向,并促进进一步探索病理学基础模型在数据多样性、架构改进、样本效率和实际应用中的可行性方面。
May, 2024
利用PANTHER方法从病理全切片图像中学习表征,在无监督的方式下利用组织中的形态冗余建立了一种无特定任务的滑片表征,通过评估在13个数据集上的亚型和生存任务,证明了PANTHER在性能和模型可解释性方面的优势。
May, 2024
通过对10种聚合技术在9个临床相关任务中的全面测试分析,结果显示领域特定的基于自我监督学习的模型比基于ImageNet的模型在聚合方法方面表现更好,但空间感知的聚合器仅在使用基于ImageNet预训练模型时才显著提高性能。同时,没有单一模型在所有任务中表现优秀,空间感知模型也不如预期一般表现卓越,这些发现强调了对更具适应性和普适性的聚合技术的需求,以指导未来临床病理学中医学人工智能不断发展的需求。
Jul, 2024
本研究解决了数字病理学中基础模型泛化能力不足的问题,特别是针对特征聚类现象(WSI特定特征崩溃)。我们提出了一种新的模型,经过染色标准化处理,从而使模型学习到更一致的特征。实验结果显示,该模型在多个下游任务中显著减少了特征崩溃现象,提高了模型的效率和泛化能力。
Aug, 2024
本研究解决了基础病理模型在数字病理中的特征聚类问题,即WSI特定特征崩溃,这影响了模型的泛化能力和性能。作者提出的染色规范化病理基础模型通过对拼接区域进行染色规范化,显著提升了模型学习更一致特征的能力,实验证明该模型在多个下游任务中表现优异,表明其泛化能力得到了明显改善。
Aug, 2024
本研究解决了现有幻灯片表征学习方法在临床和生物多样性方面的局限。通过引入多模态预训练策略Madeleine,该方法利用多标记染色的幻灯片形成丰富的无任务信号,从而提高学习的表征质量。研究结果表明,Madeleine在包括形态学分类和预后预测在内的多个下游任务上表现优异,具有广泛的临床应用潜力。
Aug, 2024