本文研究了遮蔽图像建模技术在医学三维图像分析中的应用，发现其相比基于对比学习的方法能够更快地进行监督学习并达到更高的精度，使用高遮蔽率和相对较小的块大小预测原始像素值是医学图像建模的一项重要自监督预训练任务，轻量级的解码器或投影头设计能够加快训练速度并降低成本，而MIM方法在不同的图像分辨率和标签数据比例下都具有良好的效果。

Apr, 2022

本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在ImageNet上可以获得最佳精度。

Sep, 2022

本文提出了一种 Medical Supervised Masked Autoencoder (MSMAE) 模型来解决传统 Masked Autoencoder (MAE) 模型在医学图像分类和分割中存在的问题，通过监督训练精确地遮蔽医学图像以及在微调阶段通过注意力机制指导遮蔽医学图像，显著提高了 MSMAE 模型的计算效率和医学诊断质量。

May, 2023

提出了一种名为全局局部遮挡自编码器 (GL-MAE) 的简单而有效的自监督预训练策略，它可以重构遮挡的全局和局部体积， 并通过全局引导一致性学习和局部到全局的对应加强和稳定掩蔽体积的表示学习。结果表明，在各种体积医学图像细分任务上，与其他自监督算法相比，该方法具有卓越的表现，即使注释很少也是如此。

Jun, 2023

本文提出了一种针对3D医学放射图像的高效预训练框架，结合局部屏蔽和低层扰动，利用交叉模态对比损失实现多模态预训练，且在多个下游任务中取得了最先进的性能表现。

Jul, 2023

Hierarchical shifted window transformers (Swin) were architecturally enhanced with semantic class attention for self-supervised attention guided co-distillation with masked image modeling (MIM), resulting in SMART. SMART, pretrained with 10,412 unlabeled 3D computed tomography (CTs), demonstrated high performance in multiple downstream tasks involving lung cancer (LC) analysis, including predicting immunotherapy response, LC recurrence, LC segmentation, and unsupervised clustering of organs in the chest and abdomen, without finetuning.

Oct, 2023

本研究介绍了一种名为LoGoNet的新型神经网络架构，通过自监督学习方法解决了现有机器学习图像处理方法在医学应用中的挑战，提高了医学影像分割的性能。

Feb, 2024

提出一种用于3D医学图像的新型预训练框架“Mask in Mask（MiM）”，通过学习来自不同尺度的分层视觉标记的辨别性表示，在器官/病变/肿瘤分割和疾病分类等任务中展现出MiM相对于其他自我监督学习方法的优越性能，此外，大规模预训练数据集的扩展进一步提升了MiM在下游任务中的表现。

Apr, 2024

我们提出了一种扩展的Masked Autoencoders (MAEs)方法，用于自我预训练3D医学图像分割任务，通过引入新的拓扑损失、预测3D裁剪区域的位置以及与Vision Transformers (ViTs)同时进行预训练，实现对几何形状和空间信息的捕捉，并且在五个公开的3D分割数据集上进行了大量实验证明了我们方法的有效性。

Jun, 2024

通过提出一种名为组织对比半掩蔽自编码器（TCS-MAE）的新的掩蔽图像建模（MIM）方法，本研究在胸部CT图像的建模中解决了现有MIM方法的两个限制，即由于CT图像中存在的复杂解剖细节导致的特征学习效率低下以及上游和下游模型之间输入不匹配导致的知识转移欠佳。经过对代表性对比、生成和混合自监督学习方法进行系统考察，结果表明，相比现有方法，我们的TCS-MAE更有效地学习了具有组织感知的表征，从而在所有任务中显著提高了分割性能。

Jul, 2024