Hibou:病理学基础视觉变换器家族
本文通过训练多种自监督模型,发现采用基于DINO知识蒸馏的Vision Transformers模型能够实现对组织形态学特征进行有效解释,在多个弱监督和补丁级任务上进行了验证。
Mar, 2022
该论文提出了一种名为MaskHIT的模型,它使用预训练的transformer模型来重建被遮盖的WSI区域并学习组织学特征,进而在癌症诊断和预测任务中表现出比其他方法更好的效果。
Apr, 2023
使用超过100万个组织样本预训练的自我监督模型UNI,在计算病理学中取得了巨大的突破,具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力,为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。
Aug, 2023
深度学习模型在计算病理学中表现出了卓越的效果,通过解决复杂的组织学图像分析应用中出现的外域数据问题,降低了经过训练的模型对于具有稍微不同数据分布的未见数据的泛化能力。
Oct, 2023
本研究提出了三个关键技术贡献,分别为:一种快速的片段选择方法(FPS)用于全切片图像分析,显著降低计算成本同时保持准确性;一种轻量级组织病理特征提取器 PathDino,仅包含五个Transformer块和900万参数,较其他方法大大减少;一种使用自监督学习的旋转不变表示学习范式,有效减轻过拟合。并且通过在12个不同数据集上的评估,证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器,还验证了其在数字病理学中增强图像分析的鲁棒性。
Nov, 2023
该研究探讨了分层视觉Transformer(H-ViTs)在计算病理学中的应用,评估其在整张切片图像中进行前列腺癌分级的效率,结果显示其与现有最先进解决方案具有竞争力的性能。
Dec, 2023
基于Vision Mamba架构的图像表示学习在计算病理学中显示出显著的性能优势,并具有相对于Vision Transformers更好的实用性和模拟病理学家工作流程的能力。
Apr, 2024
该研究提出了一种轻量级的病理学FM,即PLUTO,它在多个病理学尺度上从多个WSI中抽取有意义的表示,以支持多样化的病理学任务,包括实例分割、瓦片分类和幻灯片级别预测,并通过在多个基于生物的任务、组织类型、分辨率、染色和扫描仪的外部和内部基准测试中的表现,证明PLUTO相当于或优于现有的基线和基础模型。该研究为病理图像分析提供了通用嵌入的发展方向,并促进进一步探索病理学基础模型在数据多样性、架构改进、样本效率和实际应用中的可行性方面。
May, 2024
我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化,通过使用一种生成的自监督视觉转换器从图像片段中提取特征,并将它们无缝地融合到原始图像中,从而创建具有不同属性的新颖的合成图像,丰富数据集,从而提高深度学习模型在未见领域中的泛化能力。
Jul, 2024
本研究解决了基础病理模型在数字病理中的特征聚类问题,即WSI特定特征崩溃,这影响了模型的泛化能力和性能。作者提出的染色规范化病理基础模型通过对拼接区域进行染色规范化,显著提升了模型学习更一致特征的能力,实验证明该模型在多个下游任务中表现优异,表明其泛化能力得到了明显改善。
Aug, 2024