SEPT: 实现可扩展和高效的视觉预训练

AAAIDec, 2022

SEPT: 实现可扩展和高效的视觉预训练

SEPT: Towards Scalable and Efficient Visual Pre-Training

Yiqi Lin, Huabin Zheng, Huaping Zhong, Jinjing Zhu, Weijia Li...

TL;DR本文提出了一种用于视觉预训练的可伸缩和有效的自我监督预训练框架，该框架从数据选择的角度出发，并利用相关性来提高下游任务的表现。实验结果表明，该框架可以降低训练样本量并提高模型架构的灵活性。

Abstract

Recently, the self-supervised pre-training paradigm has shown great potential in leveraging large-scale unlabeled data to improve downstream task performance. However, increasing the scale of unlabeled pre-training data in real-world scenarios requires prohibitive computational costs a

self-supervised pre-training data selection visual pre-training feature similarity downstream tasks

发现论文，激发创造

自我训练提升自然语言理解的预训练

本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

Oct, 2020

对比检测的高效视觉预训练

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021

SEPT：面向运动预测的高效场景表示学习

该研究呈现了 SEPT，一个利用自我监督学习来开发复杂交通场景的强大时空理解能力的建模框架，其通过三个遮蔽 - 重构建模任务对包括车辆轨迹和道路网络在内的场景输入进行预训练，然后在下游预测任务上微调，实验证明 SEPT 在 Argoverse 1 和 Argoverse 2 运动预测基准测试中无需繁琐的架构设计或手动特征工程，在所有主要指标上都显著优于以前的方法。

Sep, 2023

自监督预训练提升自监督预训练效果

本文研究自监督预训练的方法，提出了一种名为 HPT 的 Hierarchical PreTraining 方法，通过在现有预训练模型的基础上初始化预训练过程，加快了模型的收敛时间并提高了准确性，同时还增强了自监督预训练对图像增强策略和预训练数据量变化的鲁棒性，从而提供了一种用更少的计算资源获得更好的预训练表示的简单框架。

Mar, 2021

神经网络顺序转移自监督预训练调查

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

启发式视觉预训练的自监督和有监督多任务学习

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

DINOv2: 无监督学习强韧可靠的视觉特征

本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

Apr, 2023

大型自监督模型是强半监督学习器

本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

Jun, 2020

自监督预训练用于二维医学图像分割

本文探讨了在医学图像分割中监督学习与自监督学习的预训练方法，发现在自监督学习方法中，使用自然图像和目标领域特定图像进行预训练可以实现最快和最稳定的收敛，在低数据场景下，将图像分类网络预训练在 ImageNet 上可以获得最佳精度。

Sep, 2022

无监督预训练的语言 - 视觉提示用于低数据实例分割

在当前的研究中，根据最新的 DETR（DEtection TRansformer）范式，基于查询的端到端实例分割（QEIS）方法在大规模数据集上训练时表现出了卓越的性能，尤其是与基于 CNN 的模型相比。然而，当面对有限的训练数据时，这些 QEIS 方法的有效性显著降低。为解决这一问题，我们提出了一种新颖的方法，用于无监督预训练在低数据环境中，即 Unsupervised Pre-training with Language-Vision Prompts (UPLVP)，通过将语言 - 视觉提示引入查询 / 核心，改善了 QEIS 模型的实例分割。我们的方法包括三个部分：(1) Mask Proposal：利用语言 - 视觉模型基于无标签图像生成伪掩膜。(2) Prompt-Kernel Matching：将伪掩膜转换为提示，并将最佳匹配的定位和形状特征注入到对应的核心中。(3) Kernel Supervision：以核心级别制定预训练的监督，以确保鲁棒学习。在我们的预训练方法的帮助下，QEIS 模型可以在低数据环境中更快地收敛并表现出更好的性能，实验评估表明，当使用我们的方法进行预训练时，QEIS 模型在 MS COCO、Cityscapes 和 CTW1500 数据集上的表现可以显著提高。代码将在此 https URL 中提供。

May, 2024