May, 2023

基于知识蒸馏的小样本组织学数据视觉Transformer

HTML
PDF
TL;DR该论文介绍了使用知识蒸馏来提高 Vision Transformers 在传统医学图像处理中对空气泡识别任务的分类性能，以检测 Whole Slide Images 上的伪影，提高了细胞病理学自动诊断系统中的预处理管道的效率。
发现论文，激发创造
  • 自监督视觉Transformer在组织病理学中学习视觉概念

    本文通过训练多种自监督模型，发现采用基于DINO知识蒸馏的Vision Transformers模型能够实现对组织形态学特征进行有效解释，在多个弱监督和补丁级任务上进行了验证。

    Mar, 2022

  • ViT-DAE：基于Transformer的扩散自编码器用于组织病理学图像分析

    本文介绍了一种基于ViT深度学习模型和Denoising Diffusion自编码器的新型方法ViT-DAE，用于高质量的组织病理学图像合成，实验表明ViT-DAE比最近的基于GAN和原始DAE方法更能生成逼真的图像。

    Apr, 2023

  • 使用Masked Pre-Training的Transformer进行组织学图像分析

    该论文提出了一种名为MaskHIT的模型，它使用预训练的transformer模型来重建被遮盖的WSI区域并学习组织学特征，进而在癌症诊断和预测任务中表现出比其他方法更好的效果。

    Apr, 2023

  • 为计算病理学系统配备工件处理管线: 计算和性能权衡的展示

    提出一种混合专家方案，用于从全玻片图像中检测五个显著的伪迹，其中包括受损组织、模糊、折叠组织、气泡和组织学上无关的血液，以提高计算病理学系统的可靠自动化诊断。

    Mar, 2024

  • Vim4Path: 自监督视觉玛巴用于组织病理学图像

    基于Vision Mamba架构的图像表示学习在计算病理学中显示出显著的性能优势，并具有相对于Vision Transformers更好的实用性和模拟病理学家工作流程的能力。

    Apr, 2024

  • Hibou：病理学基础视觉变换器家族

    通过数百万激光制片和荧光制片图像进行预训练，本论文介绍了基于DINOv2框架的Hibou视觉转换器系列，展示了在补丁级别和幻灯片级别基准测试中优于现有方法的卓越性能。

    Jun, 2024

  • 自监督视觉Transformer是可扩展的领域泛化生成模型

    我们提出了一种新颖的生成方法用于组织病理学图像的领域泛化，通过使用一种生成的自监督视觉转换器从图像片段中提取特征，并将它们无缝地融合到原始图像中，从而创建具有不同属性的新颖的合成图像，丰富数据集，从而提高深度学习模型在未见领域中的泛化能力。

    Jul, 2024

  • HDKD: 医学图像分类的混合数据高效知识蒸馏网络

    该论文介绍了一种混合数据高效知识蒸馏 (Hybrid Data-efficient Knowledge Distillation, HDKD) 的范例，该范例通过使用卷积神经网络（CNN）教师和一个混合的学生，克服了既忽略中间特征的丰富语义信息又导致不匹配结构和增加计算开销的限制，并提出了一种高效的轻量级卷积块。广泛的实验显示了HDKD在两个医学公共数据集上的优越性以及其计算效率。

    Jul, 2024

  • 组织病理图像分类的数据集蒸馏

    本研究解决了组织病理图像分析中对大规模数据集的依赖问题，提出了一种新颖的数据集蒸馏算法Histo-DD，结合了染色标准化和模型增强。实验结果表明，Histo-DD生成的合成样本能有效保留区分性信息，显著降低训练成本，并具有体系结构无关的特性，展示了合成样本在替代大规模数据集方面的潜力。

    Aug, 2024

  • 高效轻量级视觉变换器DCT-HistoTransformer及其在组织病理图像分析中的应用

    本研究针对传统视觉变换器在组织病理图像分析中的应用面临的数据标注成本高及计算负担重的问题，提出了一种新颖的轻量级乳腺癌分类方法。通过结合离散余弦变换注意力和MobileConv的并行处理途径，我们显著提升了分类效率和准确性，模型在二分类任务中达到96.00%的准确率，展示了在减少对大量标注数据依赖的同时，仍能实现优良的分类性能。

    Oct, 2024