在本文中，我们展示了使用一种称为 Barlow Twins 的自我监督学习算法进行预训练的模型可以胜过常规的监督转移学习流程，该模型在小型标记皮肤病变数据集上进行微调后，在大型测试集中取得了 70% 的平均测试准确率，相比于监督转移学习的 66%。这暗示在标记困难的环境中收集更多未标记图像可能是一条获取更多标记数据的替代途径。我们的框架适用于低标记数据情境下的癌症图像分类模型。

Jan, 2024

本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

Sep, 2022

对医学图像分类应用进行的研究表明，使用未标记的数据可以提高分类器的性能，通过自监督学习和半监督学习的方法，本研究在医学图像领域设计了一个基准测试，发现 MixMatch、SimCLR 和 BYOL 方法是强有力的选择，并提供适用于新医学任务的设置以及进一步搜索的方法。

Jul, 2023

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021

本研究通过采用 DINO 框架，尤其是使用非监督式学习中的图像表示来分析了医学图像分类中的无监督深度学习性能，并证明这种方法可以在使用少量标记数据（大约每类 100 个标记样本）的情况下，取得超过现有技术的性能表现。

Apr, 2023

自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在 X 射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

Sep, 2023

本文比较了三种自监督预训练模型和一个有监督的基线模型，在五个数据集上进行了皮肤病变的诊断。结果表明，自监督预训练模型可以在提高准确性和降低结果的变异性方面与有监督的基线模型相媲美，尤其在数据量少的情况下表现更加稳定和优秀。

Jun, 2021

本文提出一种基于自监督预训练的医学图像分析深度学习训练策略，通过将不同扭曲应用于图像的随机区域，预测扭曲的类型和信息的损失，并使用改进的 Mask-RCNN 体系结构定位扭曲位置和恢复原始图像像素，将该方法用于分割任务，能够提高 Dice 分数 20%。

Jul, 2022

本文针对医疗影像任务，通过对自我监督和半监督学习等多种方式进行比较，研究发现半监督自编码器在预测胸部 X 光成像下的死亡风险方面具有更好的性能。

Jun, 2023

应用于医学成像等关键领域的深度学习模型使用受限的训练数据，我们提出了一种策略来提高在低数据情况下训练的模型的性能和泛化能力。通过预训练和元微调，本方法通过在元训练中暴露模型于更具挑战性的分类任务，进而在元测试中对更具临床相关性但更容易的任务进行评估，以增强模型的泛化能力。该方法在两个不同的医学任务上进行了实验证明了其有效性，并在评估数据的分布变化时保持了竞争力。

Mar, 2024