Apr, 2024

MiM: 3D 医学图像分析的层叠掩模自监督预训练

PDF
TL;DR提出一种用于 3D 医学图像的新型预训练框架 “Mask in Mask（MiM）”，通过学习来自不同尺度的分层视觉标记的辨别性表示，在器官 / 病变 / 肿瘤分割和疾病分类等任务中展现出 MiM 相对于其他自我监督学习方法的优越性能，此外，大规模预训练数据集的扩展进一步提升了 MiM 在下游任务中的表现。
发现论文，激发创造
  • 基于拓扑和空间感知的遮蔽自编码器的自预训练用于 3D 医学图像分割

    我们提出了一种扩展的 Masked Autoencoders (MAEs) 方法，用于自我预训练 3D 医学图像分割任务，通过引入新的拓扑损失、预测 3D 裁剪区域的位置以及与 Vision Transformers (ViTs) 同时进行预训练，实现对几何形状和空间信息的捕捉，并且在五个公开的 3D 分割数据集上进行了大量实验证明了我们方法的有效性。

    Jun, 2024

  • 预训练通用医学图像变换器

    通过使用自监督学习和空间自适应卷积技术，我们构建了一个通用的医学图像处理模型，可以高效处理各种医学图像数据，并在医学图像分类和分割任务上表现出更好的性能和标签效率。

    Dec, 2023

  • 更长范围上下文化的遮蔽自编码器

    我们提出了一种自我监督学习框架，称为 “长程上下文化蒙版自编码器（LC-MAE）”，该方法能够有效地利用全局上下文理解视觉表示，同时减少输入的空间冗余。通过从多个视角学习完整像素和稀疏像素的本地表示，LC-MAE 能够学习到更具有区分性的表示，从而在 ImageNet-1K 上使用 ViT-B 实现了 84.2% 的 top-1 准确率，比基准模型提高了 0.6%。LC-MAE 在下游语义分割和细粒度视觉分类任务中取得了显著的性能提升，并在多个鲁棒性评估指标上均取得了优异的结果。

    Oct, 2023

  • 基于遮罩的图像建模技术在三维医学图像分析中的应用进展

    本文研究了遮蔽图像建模技术在医学三维图像分析中的应用，发现其相比基于对比学习的方法能够更快地进行监督学习并达到更高的精度，使用高遮蔽率和相对较小的块大小预测原始像素值是医学图像建模的一项重要自监督预训练任务，轻量级的解码器或投影头设计能够加快训练速度并降低成本，而 MIM 方法在不同的图像分辨率和标签数据比例下都具有良好的效果。

    Apr, 2022

  • 探究用于多标记胸部疾病分类的遮蔽自编码器

    本文介绍了一种基于自编码器预训练的视觉 Transformer 模型（ViT）在医学图像分类任务上的性能优化方法，并探讨了策略和技术详细研究。

    Oct, 2022

  • DailyMAE：朝着一天内预训练掩膜自编码器

    本研究提出了有效的训练方案，以降低数据加载瓶颈和维持预训练性能，实现了高效的自监督学习训练，为更广泛的可访问性和推动自监督学习研究的进展铺平了道路。

    Mar, 2024

  • Mask3D：通过学习掩码的 3D 先验知识预训练 2D 视觉 Transformer

    提出了一种名为 Mask3D 的预训练方法，可以将现有的大规模 RGB-D 数据应用于自监督预训练中，将 3D 先验嵌入到 2D 的学习特征中，并对多个场景理解任务产生了改进，尤其是语义分割。

    Feb, 2023

  • 医学视觉与语言预训练的多模态掩码自编码器

    提出了一种基于 M$^3$AE 的自监督学习模型，通过随机遮盖图像和文本中的像素和标记来学习跨模态领域知识的医学视觉语言模型，并在三个任务上实现了最先进水平的结果。

    Sep, 2022

  • 利用遮盖图像建模来改善受监督的表征学习

    通过将 MIM 集成到现有的监督训练方法中，我们设计了一种简单而有效的方案，通过在视觉转换图像编码器上添加一个浅层的基于 Transformer 的解码器，并引入一个基于遮蔽图像输入的 MIM 任务，来改善下游任务的学习表示质量，如分类、图像检索和语义分割。

    Dec, 2023

  • SwinMM: Swin 变换器的蒙版多视图用于 3D 医学图像分割

    通过引入多视角信息和自监督学习，本研究提出了一种名为 SwinMM 的新型多视角流水线，以提高医学图像分割预训练模型的准确性和数据效率。

    Jul, 2023