AAAIJun, 2023

HVTSurv: 基于整张切片图像的患者生存预测的分层视觉 Transformer 模型

PDF
TL;DR提出了一种名为 HVTSurv 的分层视觉 Transformer 框架，可对全切片图像进行预测和患者级别的癌症预测，并通过 3,104 名患者和 3,752 个全切片图像的验证实现了比以前的弱监督方法更高的平均 C 指数。
whole slide imagespatient-level multiple instance learninghierarchical vision transformer frameworkcancerprognostic information
发现论文，激发创造
  • 层次视觉 Transformer 用于全切片图像中上下文感知的前列腺癌分级

    该研究探讨了分层视觉 Transformer（H-ViTs）在计算病理学中的应用，评估其在整张切片图像中进行前列腺癌分级的效率，结果显示其与现有最先进解决方案具有竞争力的性能。

    Dec, 2023

  • 通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

    本文提出了一种新的 ViT 架构 (HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用 WSI 固有的分层结构进行分层预训练。通过在 33 种癌症类型上对 10,678 个 gigapixel WSI、408,218 个 4096x4096 图像和 104M 个 256x256 图像进行预训练，证明了 HIPT 在癌症亚型划分和生存预测方面优于当前最先进的方法。

    Jun, 2022

  • 多尺度异质性感知的组织病理学全切片图像超图表征

    通过构建多尺度异质感知超图，挖掘生物实体间的多样互动以获得全局表示，并在三个基准数据集上表现出优越性能。

    Apr, 2024

  • HIGT：用于全幻灯片图像分析的分层交互图变换器

    本文提出了一种用于 WSI 分析的新型 Hierarchical Interaction Graph-Transformer（HIGT），通过学习 WSI 金字塔的局部和全局特征，并建立不同层次之间的双向交互，实现了肿瘤亚型和分期任务上的优于现有方法的性能。

    Sep, 2023

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024

  • 基于全切片图像的肿瘤生存预测：基于注意力引导的深度多示例学习网络

    此研究提出了一种名为 DeepAttnMISL 的多实例深度学习方法，通过引入两种方式（siamese MI-FCN 和 attention-based MIL pooling）从 WSI 中高效地学习图像特征，然后将 WSI 级别的信息聚合到患者级别。该方法适用于大型数据集，并具有更好的可解释性，可用于癌症患者风险评估和个性化医疗。

    Sep, 2020

  • 基于知识蒸馏的小样本组织学数据视觉 Transformer

    该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。

    May, 2023

  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024

  • 应用层次视觉变换器和多实例学习预测组织病理学中的卵巢癌治疗反应

    评估了深度学习方法在预测卵巢癌治疗效果方面的效力，发现使用预训练的图像金字塔转换模型提取区域级特征，再用基于注意力的多实例学习模型进行整合和分类，能够部分预测抗血管生成药物 bevacizumab 在卵巢癌患者中的治疗效果，但受数据集限制和异质性的影响，准确性还需要更大、更高质量的数据集进一步验证。

    Oct, 2023

  • HSViT：水平可扩展的视觉 Transformer

    这篇论文介绍了一种新型的水平可伸缩视觉转换器 (HSViT)，通过引入新的图像级特征嵌入和设计创新的水平可伸缩架构，以减少模型的层数和参数数量，并促进 ViT 模型在多个节点上的协同训练和推理，从而实现比现有方案高多达 10% 的 top-1 准确率，证明了其在保持归纳偏差方面的优越性。

    Apr, 2024