Mar, 2021

自监督预训练提升自监督预训练效果

HTML
PDF
TL;DR本文研究自监督预训练的方法，提出了一种名为 HPT 的 Hierarchical PreTraining 方法，通过在现有预训练模型的基础上初始化预训练过程，加快了模型的收敛时间并提高了准确性，同时还增强了自监督预训练对图像增强策略和预训练数据量变化的鲁棒性，从而提供了一种用更少的计算资源获得更好的预训练表示的简单框架。
发现论文，激发创造
  • 自监督预训练对视觉任务有多大用处？

    研究人员对自监督预训练算法在视觉领域中的实用性进行了评估，发现可用标签数量的增加以及下游任务和训练数据属性的变化都会影响其效用，而线性评估与精调性能之间没有相关性。

    Mar, 2020

  • 重新思考预训练和自训练

    在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

    Jun, 2020

  • 任意点云的自监督3D特征预训练

    该研究提出了一种可用于3D数据的简单自监督预训练方法，在目标检测、语义分割和物体分类等方面取得了最先进的结果并提高了少样本类别的性能。

    Jan, 2021

  • 自监督野外视觉特征预训练

    本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过SEER模型的研究表明，自监督学习在真实环境中的表现优于监督学习方法。

    Mar, 2021

  • 自监督预训练是否需要大规模数据集?

    本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与ImageNet预训练相比，使用我们介绍的变种BEiT的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用COCO数据进行预训练时，检测和实例分割性能超过了监督的ImageNet预训练方法。

    Dec, 2021

  • 自监督预训练用于二维医学图像分割

    本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在ImageNet上可以获得最佳精度。

    Sep, 2022

  • SEPT: 实现可扩展和高效的视觉预训练

    本文提出了一种用于视觉预训练的可伸缩和有效的自我监督预训练框架，该框架从数据选择的角度出发，并利用相关性来提高下游任务的表现。实验结果表明，该框架可以降低训练样本量并提高模型架构的灵活性。

    Dec, 2022

  • MAE预先预训练对亿级预训练的有效性

    该论文重新审视了在视觉识别任务中使用的标准预训练-微调范式，通过使用自监督MAE技术实现额外的预先训练阶段来初始化模型。该方法不仅可以扩展模型大小，还可以扩展训练数据集的规模，从而提高了基础模型的训练效率以及各种视觉识别任务的性能并取得了新的最优结果。

    Mar, 2023

  • 自我监督预训练对放射影像诊断任务影响的调查

    自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在X射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

    Sep, 2023

  • 自我监督学习提高深度学习对CT图像差异的肺肿瘤分割的鲁棒性

    自我监督学习（SSL）是一种从无标签数据中提取有用特征表示并在有限标记样本的下游任务中进行精细调整的方法。本论文比较了基于自然数据和自我预训练的转换器模型在医学图像分析中的鲁棒性，发现自然预训练模型对肺肿瘤分割的CT图像差异具有更高的适应性，同时Swin架构从这种预训练中受益更多。

    May, 2024