本文研究自监督预训练的方法，提出了一种名为 HPT 的 Hierarchical PreTraining 方法，通过在现有预训练模型的基础上初始化预训练过程，加快了模型的收敛时间并提高了准确性，同时还增强了自监督预训练对图像增强策略和预训练数据量变化的鲁棒性，从而提供了一种用更少的计算资源获得更好的预训练表示的简单框架。

Mar, 2021

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021

该研究提出了一种通过引入辅助的预任务(视觉生物标志分类)来将特征学习与下游肺部超声任务分离的方法；通过为预测生物标志标签训练模型，可以学习到一种信息丰富、简洁和可解释的超声视频特征空间。这些特征可以被用于各种下游临床任务的专家模型中，这些任务包括诊断、肺部严重程度以及S/F比；与直接针对这些任务进行训练的端到端模型相比，这些任务特定的专家模型具有可比的准确度，同时成本显著降低。

Jun, 2022

本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在ImageNet上可以获得最佳精度。

Sep, 2022

本研究探讨了在 M 模式肺超声图像的肺滑动分类任务中，进行自监督预训练对于监督微调的实用性，结果表明，相对于完全监督，自监督预训练表现更好，特别是对于未使用 ImageNet 预训练权重来初始化特征提取器的情况下。此外，包含大量未标记数据可提高外部验证集上的表现，突显了自我监督在提高自动超声识别的泛化能力方面的价值。

Apr, 2023

本研究旨在设计基于3D神经网络、融合时空特征的SlowFast网络以及增强噪声鲁棒性的SwAV方法的计算机辅助诊断系统，以此区分良性和恶性肺部病变，协助医生进行径向探针支气管内超声检查视频的实时分析，且无需进行高质量图像选择，并在图像噪声存在的情况下实现高准确率分类诊断。

May, 2023

自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在X射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

Sep, 2023

自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的CT图像差异具有更高的适应性，同时Swin架构从这种预训练中受益更多。

May, 2024

本研究解决了在超声成像中胎儿评估时标注数据有限的问题，探索了双编码器自监督学习在未标记超声视频数据中的应用。研究表明，数据集的方差比其大小更为重要，BarlowTwins方法在不同训练设置和数据变换下均表现出稳定的性能，并且在使用1%标注数据进行全面微调时，F1分数超过了其他方法，展现了其在转移学习中的潜力。

Jul, 2024

本研究解决了乳腺超声视频中的肿瘤分类问题，采用了三元组网络和自监督对比学习技术，从未标记的超声视频片段中学习特征表示。实验结果表明，模型在接收操作特征曲线（AUC）上达到了0.952，显著优于其他模型，大幅降低了对标记数据的需求，具有应用于自动乳腺超声图像诊断的潜力。

Aug, 2024