Nov, 2023

数字病理学中无旋转偏见的图像表示学习

PDF
TL;DR本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。
histopathological image analysispatch selection methodhistopathology feature extractorrotation-agnostic representation learningdigital pathology
发现论文，激发创造
  • 自监督视觉 Transformer 在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于 DINO 知识蒸馏的 Vision Transformers 模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • 利用图神经网络进行组织病理学图像的表示学习

    本文介绍了一种基于图神经网络和 DenseNet 的方法，使用颜色选择和生成的样本 patches 并保持图像信息的关联性，以对肺癌的亚型进行精确分类。模型在 The Cancer Genome Atlas 数据集上表现出了 88.8% 的准确率和 0.89 的 AUC。

    Apr, 2020

  • 利用语义分割的多阶段病理图像分类

    本论文提出了一种新的模型结构，将基于补丁的分类模型和整个切片比例的分割模型相结合，以提高自动病理诊断的预测性能，并通过优化方法，使模型部分地进行端到端学习，应用于 WSI 的肿瘤 / 正常预测，与传统基于补丁的方法相比，分类的性能得到了提高。

    Oct, 2019

  • 基于深度学习的全切片图像分割与分析通用框架

    本文章基于深度学习方法提出了一种可用于组织病理学图像分析的框架，并在癌症诊断、预后和图像分析等方面取得了良好的效果。

    Jan, 2020

  • Vim4Path: 自监督视觉玛巴用于组织病理学图像

    基于 Vision Mamba 架构的图像表示学习在计算病理学中显示出显著的性能优势，并具有相对于 Vision Transformers 更好的实用性和模拟病理学家工作流程的能力。

    Apr, 2024

  • 基于分层区域的多实例学习中的 Transformer

    我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

    Aug, 2023

  • 基于知识蒸馏的小样本组织学数据视觉 Transformer

    该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。

    May, 2023

  • 基于预训练的视觉 Transformer 的组织病理学图像自动报告生成

    使用一个现有的预训练 Vision Transformer，通过两步过程对全幻灯片图像（WSI）的 4096x4096 大小的补丁进行编码，并将其作为编码器和 LSTM 解码器用于报告生成，我们可以构建一个相当高效和可移植的报告生成机制，考虑到整个高分辨率图像，而不仅仅是补丁。我们还能够使用来自现有强大的预训练分层 Vision Transformer 的表示，在零样本分类和报告生成方面显示其实用性。

    Nov, 2023

  • 用于多标记全切片组织病理学图像的补丁变换器

    提出了一种利用 Patch Transformer 来进行多标签预测的深度神经网络模型，可以从组织病理学切片图像中有效地预测多个幻灯片级标签，并通过大量实验证明了该模型的有效性。

    Jun, 2019

  • 自监督视觉 Transformer 是可扩展的领域泛化生成模型

    我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化，通过使用一种生成的自监督视觉转换器从图像片段中提取特征，并将它们无缝地融合到原始图像中，从而创建具有不同属性的新颖的合成图像，丰富数据集，从而提高深度学习模型在未见领域中的泛化能力。

    Jul, 2024