本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

Sep, 2022

利用自我监督学习和对比学习的方法，在医学成像等标注稀缺的领域中学习表征已被证明是一种有效的方式。本研究通过探索一种新的思路 —— 使用多器官数据集来为特定器官相关目标任务预训练模型，旨在推进我们对对比学习框架的理解。具体而言，我们的目标任务是超声图像中的乳腺肿瘤分割。预训练数据集包括来自其他器官（如肺和心脏）的超声图像以及大量的自然图像。我们的结果表明，与监督基线方法相比，传统的对比学习预训练可以提高性能。此外，我们的预训练模型在只使用一半可用标记数据进行微调时也可以达到相当的性能。我们的发现还表明，预训练多器官数据可以提高下游任务的性能。

Feb, 2024

本文提出一种基于自监督预训练的医学图像分析深度学习训练策略，通过将不同扭曲应用于图像的随机区域，预测扭曲的类型和信息的损失，并使用改进的 Mask-RCNN 体系结构定位扭曲位置和恢复原始图像像素，将该方法用于分割任务，能够提高 Dice 分数 20%。

Jul, 2022

本文介绍了一种利用自监督学习和对比学习实现的影像分割技术，该技术可以在大量没有标注数据的情况下学习，并且在三个磁共振成像数据集上验证了其有效性。

Jun, 2020

我们提出了一种使用两个不同子网络来探索和利用它们之间差异的方法，最终纠正错误的预测结果，通过有针对性的验证训练过程识别不一致预测的区域并进行微调，从而提高上下文信息的利用；此外，为了自适应地调整网络的表示能力并降低预测不确定性，我们采用了自监督对比学习范式，利用网络的置信度区分可靠和不可靠的预测，并训练模型有效地最小化不可靠的预测；我们的实验结果来自于临床 MRI 和 CT 扫描的器官分割，与最先进的方法相比，证明了我们方法的有效性。

Nov, 2023

本文提出了一种利用元标签注释的对比学习方法，用于医学影像分割中模型表现的优化。模型在预训练和半监督训练中使用元标签注释，并采用自适应学习方法消除噪声标签，实验结果表明这种方法在几个数据集下表现优异。

Jul, 2021

深度学习在医学影像中具有潜力，可以减少诊断错误的风险，减轻放射科医生的工作负荷并加速诊断。为了解决医学影像领域注释数据集不足的挑战，我们通过预先训练大型无注释图像数据集上的深度学习模型来实现自我监督学习，并提出了 SparK 预训练方法，它在小型数据集上表现更为稳健。

Aug, 2023

本研究提出了一种新颖的对比学习框架，它将本地化区域对比技术（LRC）融入到现有的半监督自监督预训练方法中，以增强医学图像分割的性能。通过在三个多器官分割数据集上的大量实验，我们证明在受限注释的情况下将 LRC 集成到自监督方法中可以显著提高分割性能。此外，我们还表明 LRC 也可以应用于完全监督的预训练方法以进一步提高性能。

Apr, 2023

最近，自监督学习方法已被用于对二维和三维医学图像的分割模型进行预训练。本文提出了一种新的自监督对齐学习框架来预训练医学图像分割的神经网络，其中包括了一个全新的局部对齐损失和全局位置损失。实验结果表明，该对齐学习方法在有限标注的 CT 和 MRI 数据集上与现有的自监督预训练方法具有竞争力。

Jun, 2024

自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在 X 射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

Sep, 2023