Jun, 2020

重新思考预训练和自训练

PDF
TL;DR在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。
computer visionpre-trainingself-trainingobject detectiondata augmentation
发现论文，激发创造
  • 重思 ImageNet 预训练

    使用随机初始化的标准模型，在 C​​OCO 数据集上进行的目标检测和实例分割，结果不劣于它们的 ImageNet 预训练模型，证明预训练模型并不一定能提高模型最终的准确性。

    Nov, 2018

  • 对比检测的高效视觉预训练

    引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

    Mar, 2021

  • 目标检测预训练分析

    文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

    Apr, 2019

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 自监督预训练是否需要大规模数据集？

    本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分割性能超过了监督的 ImageNet 预训练方法。

    Dec, 2021

  • 重新审视 DETR 目标检测的预训练方法

    通过对最新的自我监督训练方法进行实验，发现之前的代表性自我监督方法无法提升强 DET-based 方法在完整数据范围上的性能，但通过结合更准确的盒子预测器和 Objects365 基准可以显著提高后续实验的结果，在 COCO 验证集上实现了 AP=59.3% 的强大目标检测结果，超过了 H-Deformable-DETR + Swin-L 的 1.4%；此外，通过合成的预训练数据集（LLaVA 和 SDXL 的组合）进行预训练，可以显著提高目标检测性能，并且在未来扩展合成预训练数据集方面有巨大优势。

    Aug, 2023

  • 自监督预训练提升自监督预训练效果

    本文研究自监督预训练的方法，提出了一种名为 HPT 的 Hierarchical PreTraining 方法，通过在现有预训练模型的基础上初始化预训练过程，加快了模型的收敛时间并提高了准确性，同时还增强了自监督预训练对图像增强策略和预训练数据量变化的鲁棒性，从而提供了一种用更少的计算资源获得更好的预训练表示的简单框架。

    Mar, 2021

  • 自监督预训练用于二维医学图像分割

    本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

    Sep, 2022

  • 自我监督训练增强在线连续学习

    本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

    Mar, 2021

  • 自我训练提升自然语言理解的预训练

    本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

    Oct, 2020