Mar, 2024

利用掩码上下文建模和知识蒸馏来微调多实例学习特征提取器

PDF
TL;DR通过使用遮蔽上下文建模与知识蒸馏的方法，对特征提取器模型进行微调，可以显著提高多示例学习中整个切片图像分类的性能。
multiple instance learningwhole slide imagefeature extractor modelmasked context modellingknowledge distillation
发现论文，激发创造
  • 基于屏蔽的困难实例挖掘的多实例学习框架用于全切片图像分类

    通过应用基于注意力机制的多示例学习方法，创新地利用硬样本在分类边界建模中的好处，提出一种新的多示例学习框架，使用掩码硬实例挖掘（MHIM-MIL）的思想，旨在使学生模型学习到更好的判别边界。实验证明，MHIM-MIL 在性能和训练成本方面优于其他最新方法。

    Jul, 2023

  • 面向任务的嵌入计数：启发式聚类驱动的特征微调用于全切片图像分类

    通过启发式聚类驱动的特征微调方法（HC-FT），提供纯净的正样本和难负样本，增强多实例学习的性能，并在 CAMELYON16 和 BRACS 数据集上实现了 97.13% 和 85.85% 的 AUC，持续优于所有对比方法。

    Jun, 2024

  • DTFD-MIL: 双层特征蒸馏多示例学习用于组织病理学全切片图像分类

    提出在组织病理学 WSI 分类问题中，通过引入虚拟 pseudo-bags 的概念并构建双层 MIL 框架来扩大样本数，同时在基于注意力的 MIL 框架下推导实例概率，显著优于最新方法并可适用于更广泛的 MIL 应用。

    Mar, 2022

  • 掩蔽自编码器实现高效知识蒸馏

    本文研究了从预训练模型中提取知识的潜力，提出了一种基于 Masked Autoencoders 的知识蒸馏框架，通过优化像素重构损失和最小化教师模型和学生模型中间的特征图之间的距离，从而实现计算上的高效率。实验结果表明，与直接蒸馏微调后的模型相比，蒸馏预训练模型可以显著提高下游性能，例如将 MAE 预训练的 ViT-L 蒸馏到一个 ViT-B 中，可以获得 84.0% 的 ImageNet top-1 精度，比直接蒸馏经过微调的 ViT-L 高出 1.2%。

    Aug, 2022

  • 基于变分信息瓶颈的特定任务微调，用于弱监督病理全幻灯片图像分类

    该研究提出了一种利用信息瓶颈理论实现的高效 WSI 微调框架，通过微调主干来实现仅依赖于 WSI 级弱标签的任务特定表示，显著提高了准确性和泛化性。

    Mar, 2023

  • 对于全幅图像分类，重新考虑多实例学习：你只需要一个良好的实例分类器

    本文提出了一种基于对比学习和原型学习的实例级 MIL 框架，旨在有效完成实例分类和包分类任务，并提出了通过原型学习生成精确伪标签的方法。在四个数据集上的广泛实验和可视化证明了我们方法的强大性能。

    Jul, 2023

  • 基于 Transformer 的多层多实例学习用于全切片图像分类

    提出了一种多层多实例学习与 Transformer 相结合的方法，能有效处理大量实例的 MIL 任务，并在 WSI 图像分类任务上展示出优秀的性能。

    Jun, 2023

  • 自监督对比学习的双流多示例学习网络用于全切片图像分类

    本论文提出了一种基于 MIL 的方法，用于全幻灯片图像（WSI）分类和肿瘤检测，无需局部注释，并提出了自我监督对比学习及金字塔融合机制，从而提高分类和定位的准确性。

    Nov, 2020

  • Long-MIL: 面向组织病理学全切片图像分析的长上下文多实例学习的扩展

    本文提出了一种改良位置嵌入的长上下文 WSI 方法，通过引入线性偏差来处理形状变化的大 WSI，并将其从 1 维长序列适应到 2 维长上下文 WSI 中，用于模型对未见或欠拟合位置的外推；同时利用闪存注意力模块解决 Transformer 的计算复杂性问题，保持了全自注意力的性能。通过在 4 个数据集上进行 WSI 分类和生存预测任务的广泛实验证明了我们方法在形状变化的 WSIs 上的优越性。

    Nov, 2023

  • 可训练原型增强的多示例学习用于全切片图像分类

    该研究论文提出了一种基于原型学习和多实例学习的 Trainable Prototype enhanced deep MIL (TPMIL) 框架，用于弱监督下的 WSI 分类，其不需要依赖于选定的图像补丁，能够更准确地识别肿瘤亚型。

    May, 2023