Feb, 2024

自我监督学习全尺寸切片表示的框架

HTML
PDF
TL;DR自我监督整个切片学习（S3L）框架可以通过利用整个切片的固有区域异质性、组织学特征变异性和信息冗余性来学习高质量的整个切片表示，用于癌症诊断和基因突变预测等诊断任务，并且在两种生物医学显微镜条件下显著优于基线模型。
发现论文，激发创造
  • 自监督视觉Transformer在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于DINO知识蒸馏的Vision Transformers模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • 通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

    本文提出了一种新的ViT架构(HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用WSI固有的分层结构进行分层预训练。通过在33种癌症类型上对10,678个gigapixel WSI、408,218个4096x4096图像和104M个256x256图像进行预训练，证明了HIPT在癌症亚型划分和生存预测方面优于当前最先进的方法。

    Jun, 2022

  • 层次判别学习提高生物医学显微镜的视觉表达

    本文提出了一种名为HiDisc的自我监督对比学习框架，用于学习临床生物医学显微镜图像中肿瘤的高质量视觉表示，结果表明HiDisc预训练方法在癌症诊断和基因突变预测方面优于当前最先进的自我监督预训练方法，并且使用自然数据多样性学习高质量的视觉表达。

    Mar, 2023

  • 无监督互相转换器学习用于多千兆像素全切片图像分类

    提出一种基于相互Transformer学习的全无监督WSI分类算法，并在公开数据集上进行了广泛实验，证明了该方法在WSI分类和癌症亚型分类方面的优越性能。

    May, 2023

  • 上下文感知自监督学习整张切片图像

    本文提出了一种通过将全切片图像(WHIs)表示为图来进行肿瘤诊断的方法，使用图卷积网络(GCN) 捕获WSI中的上下文依赖关系，并使用自监督学习获取无标签数据的训练增强。这种方法利用节点表示WSI的patch，是一种包含上下文信息的模型方案，相比于现有方法或基于多实例学习（MIL）的方案实现了性能的提升。

    Jun, 2023

  • 一种面向计算病理学的通用自监督模型

    使用超过100万个组织样本预训练的自我监督模型UNI，在计算病理学中取得了巨大的突破，具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力，为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。

    Aug, 2023

  • 利用聚类约束改善组织病理学图像的表征学习

    最近整个切片图像（WSI）扫描仪和计算能力的进展显著推动了人工智能在组织病理学切片分析中的应用。

    Oct, 2023

  • 病理学中幻灯片表征学习的多染色预训练

    本研究解决了现有幻灯片表征学习方法在临床和生物多样性方面的局限。通过引入多模态预训练策略Madeleine，该方法利用多标记染色的幻灯片形成丰富的无任务信号，从而提高学习的表征质量。研究结果表明，Madeleine在包括形态学分类和预后预测在内的多个下游任务上表现优异，具有广泛的临床应用潜力。

    Aug, 2024

  • SlideChat：一种用于全切片病理图像理解的大型视觉-语言助手

    本研究针对现有多模态大型语言模型在全切片病理分析中缺乏整体上下文理解的问题，提出了SlideChat，这是一种能够理解千亿像素全切片图像的视觉-语言助手。通过创建包含4.2K个WSI标题和176K个VQA对的SlideInstruction数据集，SlideChat在多个临床场景中展示了卓越的多模态对话能力，超越了现有多模态模型，具有85%的主流任务性能提升潜力。

    Oct, 2024

  • 基于幻灯片的图形协同训练用于组织病理学全幻灯片图像分析

    本研究解决了当前组织病理学全幻灯片图像分析中忽视幻灯片之间可能的相互关系的问题。提出的SlideGCD模型通过引入幻灯片间的关联性，提升了现有多实例学习框架的性能，验证了在癌症分型、分期、存活预测和基因突变预测等任务中的有效性和鲁棒性。

    Oct, 2024