May, 2023

多尺度高效图变换器用于全切片图像分类

PDF
TL;DR本文提出了一种名为 MEGT 的创新型多尺度高效图形变压器框架，用于 WSI 分类，并采用两个独立的 EGT 分支处理 WSI 中的低分辨率和高分辨率补丁嵌入以及通过多尺度特征融合模块融合这些令牌。
whole slide imagesmulti-scale efficient graph-transformerwsi classificationefficient graph-based transformermulti-scale feature fusion module
发现论文，激发创造
  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024

  • 多尺度原型变形器用于整张组织切片图像分类

    本文提出了一种基于多尺度原型 Transformer（MSPT）的 WSI 分类方法，通过使用原型 Transformer 和多尺度特征融合模块（MFFM）有效缓解正负样本不平衡与多尺度信息融合问题，实验结果表明其性能超过了其他算法。

    Jul, 2023

  • MulGT: 多任务图 Transformer，在全切片图像分析中注入任务感知知识并驱动领域知识汇聚

    该研究设计了一种新的多任务学习框架，结合了图转换器、任务感知知识注入和领域知识驱动的图池化模块，用于病理学家在对多个诊断任务进行实际临床诊断时的 WSI 分析。该框架的实验结果表明，相较于基于单任务的方法以及现有的技术，能够有效的提升诊断的准确率和鲁棒性。

    Feb, 2023

  • HIGT：用于全幻灯片图像分析的分层交互图变换器

    本文提出了一种用于 WSI 分析的新型 Hierarchical Interaction Graph-Transformer（HIGT），通过学习 WSI 金字塔的局部和全局特征，并建立不同层次之间的双向交互，实现了肿瘤亚型和分期任务上的优于现有方法的性能。

    Sep, 2023

  • 无监督互相转换器学习用于多千兆像素全切片图像分类

    提出一种基于相互 Transformer 学习的全无监督 WSI 分类算法，并在公开数据集上进行了广泛实验，证明了该方法在 WSI 分类和癌症亚型分类方面的优越性能。

    May, 2023

  • 如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

    提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

    Jan, 2023

  • 多染色自注意图多实例学习流程用于组织切片全扫描图像

    提出了一个名为 MUSTANG 的多标引注意力自注意图的无监督吉帕像素多图像分类任务的端到端学习流水线，该任务只具备患者级别标签但没有幻灯片级别标签或区域注释，利用稀疏的 k 最近邻图和欧几里得距离进行操作限制，取得了 0.89/0.92 的 F1 得分 / 曲线下面积，优于广泛使用的 CLAM 模型。

    Sep, 2023

  • 一张 WSI 能够传达的信息有哪些？基于亚型引导的遮蔽变换器用于病理图像字幕生成

    通过使用基于 Transformer 的 Subtype-guided Masked Transformer (SGMT) 范式，我们在病理图像标注中引入一种伴随的亚型预测，以提高训练过程中的准确性，并通过采用不同的序列化抽样策略来处理病理图像标注的尺寸限制，实验结果表明，我们的方法在 PatchGastricADC22 数据集上的性能优于传统的基于 RNN 的方法，且我们的代码可供进一步的研究和开发。

    Oct, 2023

  • 通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

    本文提出了一种新的 ViT 架构 (HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用 WSI 固有的分层结构进行分层预训练。通过在 33 种癌症类型上对 10,678 个 gigapixel WSI、408,218 个 4096x4096 图像和 104M 个 256x256 图像进行预训练，证明了 HIPT 在癌症亚型划分和生存预测方面优于当前最先进的方法。

    Jun, 2022

  • 用于多标记全切片组织病理学图像的补丁变换器

    提出了一种利用 Patch Transformer 来进行多标签预测的深度神经网络模型，可以从组织病理学切片图像中有效地预测多个幻灯片级标签，并通过大量实验证明了该模型的有效性。

    Jun, 2019