利用聚类约束改善组织病理学图像的表征学习
利用基于多分辨率背景下组织病理全切片图像的潜在上下文线索的自我监督预训练任务,以及新型的师生半监督一致性模式,使用任务无关和任务特定无标签数据来学习强大的监督信号进行无监督表征学习,并在有限标签数据下表现出与其他现有最先进方案相近乃至优越的性能。
Feb, 2021
本文通过训练多种自监督模型,发现采用基于DINO知识蒸馏的Vision Transformers模型能够实现对组织形态学特征进行有效解释,在多个弱监督和补丁级任务上进行了验证。
Mar, 2022
该研究论文提出了一种基于原型学习和多实例学习的Trainable Prototype enhanced deep MIL (TPMIL) 框架,用于弱监督下的WSI分类,其不需要依赖于选定的图像补丁,能够更准确地识别肿瘤亚型。
May, 2023
使用超过100万个组织样本预训练的自我监督模型UNI,在计算病理学中取得了巨大的突破,具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力,为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。
Aug, 2023
自我监督整个切片学习(S3L)框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示,用于癌症诊断和基因突变预测等诊断任务,并且在两种生物医学显微镜条件下显著优于基线模型。
Feb, 2024
我们提出了一种新颖的动态图表示算法,将组织病理学切片图像(WSIs)概念化为知识图结构的形式,通过动态构建邻居和带向边嵌入的头尾实例之间的关系,利用知识感知的注意机制更新头结点特征,然后通过全局池化过程获得图级嵌入,作为WSI分类的隐式表示。我们的端到端图表示学习方法在三个TCGA基准数据集和内部测试集上优于最先进的WSI分析方法。
Mar, 2024
本研究解决了现有幻灯片表征学习方法在临床和生物多样性方面的局限。通过引入多模态预训练策略Madeleine,该方法利用多标记染色的幻灯片形成丰富的无任务信号,从而提高学习的表征质量。研究结果表明,Madeleine在包括形态学分类和预后预测在内的多个下游任务上表现优异,具有广泛的临床应用潜力。
Aug, 2024
本研究解决了当前组织病理学全幻灯片图像分析中忽视幻灯片之间可能的相互关系的问题。提出的SlideGCD模型通过引入幻灯片间的关联性,提升了现有多实例学习框架的性能,验证了在癌症分型、分期、存活预测和基因突变预测等任务中的有效性和鲁棒性。
Oct, 2024
本研究针对传统多实例学习方法在长上下文病理全幻灯片图像(WSI)分析中的关键性信息损失问题,通过引入局部注意力掩码来提高长序列注意力矩阵的秩,从而改善模型的表示能力。最终提出的长上下文多实例学习(LongMIL)方法在多个WSI任务中的表现优越,展现了其在计算加速和信息交互建模方面的潜力。
Oct, 2024