本文介绍一种使用SimCLR方法进行自监督学习的无监督学习方法，该方法在数字病理学数据集上的预训练在多项下游任务中优于在ImageNet上预训练的网络，F1平均分提高了28%以上。

Nov, 2020

该研究提出了基于自监督平均教师预训练和半监督微调的自我监督平均教师的半监督学习方法，应用于胸部X光片和皮肤病分类问题，取得较大的性能改善。

Mar, 2021

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021

本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在ImageNet上可以获得最佳精度。

Sep, 2022

本文针对医疗影像任务，通过对自我监督和半监督学习等多种方式进行比较，研究发现半监督自编码器在预测胸部X光成像下的死亡风险方面具有更好的性能。

Jun, 2023

对医学图像分类应用进行的研究表明，使用未标记的数据可以提高分类器的性能，通过自监督学习和半监督学习的方法，本研究在医学图像领域设计了一个基准测试，发现MixMatch、SimCLR和BYOL方法是强有力的选择，并提供适用于新医学任务的设置以及进一步搜索的方法。

Jul, 2023

噪声标签对基于深度学习的监督图像分类性能有负面影响，而自监督预训练权重的模型初始化可以减少特征损坏并提高分类性能，但尚未探索其他自监督方法对噪声标签的影响以及医学图像中仅使用自监督预训练方法对噪声标签的影响。本研究探索了对两个医学数据集进行对比和预备任务的自监督预训练，用于初始化深度学习分类模型的权重，结果显示使用自监督学习获得的预训练权重可以有效学习更好的特征，并提高对噪声标签的鲁棒性。

Aug, 2023

通过在非医学图像上进行自监督学习的预训练来提高医学图像诊断准确性的研究表明，选择正确的预训练策略，尤其是自监督学习，在医学成像中对人工智能的诊断准确性具有重要意义。

Aug, 2023

自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在X射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

Sep, 2023

医学图像分类中存在嘈杂标签会对深度学习产生重大影响，自监督预训练可以提高对嘈杂标签的鲁棒性，但这种鲁棒性受诸如类别数目、数据集复杂性和训练规模等因素的影响。本研究全面探讨了自监督学习与医学图像分类中嘈杂标签鲁棒性之间的相互作用，结果显示在五个数据集中（Fetal plane, DermNet, COVID-DU-Ex, MURA, NCT-CRC-HE-100K），DermNet是最具挑战性的数据集，但对嘈杂标签表现出更强的鲁棒性，而对于嘈杂标签的鲁棒性增强方面，对比学习是最有效的自监督方法。

Jan, 2024