Feb, 2024

几何学无限力量的释放：针对全扫描组织病理图像分析的新型几何感知变换器（GOAT）

PDF
TL;DR病理学分析对肿瘤的诊断和预后具有重要意义，然而，由于巨大的细胞级全切片图像和病理特征的复杂表达，在其分析中存在巨大挑战。因此，我们提出了一种新颖的弱监督框架，几何感知变换器（GOAT），其中我们督促模型关注肿瘤微环境中的几何特征，这通常作为有效的指示器。此外，设计了一种上下文感知的注意机制来提取和增强细胞级全切片图像中的形态特征。
histopathology analysisdiagnosisprognosiswhole slide imagesgeometry-aware transformer
发现论文，激发创造
  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024

  • MGCT: 基于综合组织病理学 - 基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

    Nov, 2023

  • HIGT：用于全幻灯片图像分析的分层交互图变换器

    本文提出了一种用于 WSI 分析的新型 Hierarchical Interaction Graph-Transformer（HIGT），通过学习 WSI 金字塔的局部和全局特征，并建立不同层次之间的双向交互，实现了肿瘤亚型和分期任务上的优于现有方法的性能。

    Sep, 2023

  • 数字病理学中无旋转偏见的图像表示学习

    本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。

    Nov, 2023

  • 组织基因知识蒸馏用于癌症预后从组织病理学全扫描图像

    G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络，通过对 WSI 图像进行基因组数据重构，实现了来自组织病理学和基因组学角度的病人超级关注建模，以改善癌症预后。

    Mar, 2024

  • 数字病理学中的鲁棒图表学习

    本文提出了一种新颖的鲁棒学习方法来解决整张切片图像（WSIs）中的扰动问题，并通过引入图卷积网络（GCN）从图中提取特征，包括去噪和分类层，以改善前列腺癌的诊断准确率。实验结果表明，与非鲁棒算法相比，该模型在癌症诊断方面取得了显著的改善。

    Oct, 2023

  • 如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

    提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

    Jan, 2023

  • 组织病理学中基于现实数据丰富的强健图像分割

    通过扩充临床数据集中的少数样本，提高机器学习模型稳定性的一种新方法 —— 基于扩散模型的图像生成方法，可以生成与真实图像难以区分的组织病理学图像。

    Apr, 2023

  • MulGT: 多任务图 Transformer，在全切片图像分析中注入任务感知知识并驱动领域知识汇聚

    该研究设计了一种新的多任务学习框架，结合了图转换器、任务感知知识注入和领域知识驱动的图池化模块，用于病理学家在对多个诊断任务进行实际临床诊断时的 WSI 分析。该框架的实验结果表明，相较于基于单任务的方法以及现有的技术，能够有效的提升诊断的准确率和鲁棒性。

    Feb, 2023

  • 组织病理学全幻灯片图像分析的异质图表示学习

    我们提出了一种新的基于异构图的框架，利用细胞核的不同类型之间的相互关系进行 WSI 分析。通过将 WSI 建模为一个具有 “核型” 属性和语义相似性属性的异构图，采用新的异构图边属性转换器 (HEAT) 和基于伪标签的语义一致汇聚机制来获得图层特征，并采用因果驱动的方法来解决现有关联定位方法的局限性。大量实验证明，在各种任务上，我们的框架相比于现有方法具有显著的优势。

    Jul, 2023