高效有效的自监督视觉表示学习

ECCVOct, 2022

Towards Efficient and Effective Self-Supervised Learning of Visual Representations

Sravanti Addepalli, Kaushal Bhogale, Priyam Dey, R.Venkatesh Babu

TL;DR本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

Abstract

self-supervision has emerged as a propitious method for visual representation learning after the recent paradigm shift from handcrafted pretext tasks to instance-similarity based approaches. Most state-of-the-art

self-supervision visual representation learning instance-similarity based approaches rotation prediction performance

发现论文，激发创造

自监督学习的定制与监督学习

本文探讨了如何将自监督任务应用于有监督学习，在此基础上提出了一种针对有监督学习的自监督任务 —— 预测可定位的旋转（LoRot），并通过实验证明其可应用于高鲁棒性和泛化能力。

Jul, 2022

自监督视觉表征学习的传递不变性

文章介绍了一种利用自监督学习的图形结构来学习具有不变性特征的视觉表示，并应用该表示在不同的识别任务中取得了显著性能提升。

Aug, 2017

自监督增强少样本学习的监督

本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

Jun, 2019

通过增强感知自我监督改善表示的可转移性

为了避免生成数据不敏感的特点，同时获取更具普适性的表示，我们提出了一种辅助自监督损失 AugSelf，它学习两个随机样本之间的增强参数差异，并可以轻松地纳入最先进的表征学习方法中，稳定提高了监督和无监督方法的表征迁移性能。

Nov, 2021

自监督和有监督方法是否学习相似的视觉表征？

对比对神经表示的最新技术，研究了对比自我监督算法和简单图像数据在共同架构中的监督学习方法的中间表示的学习，发现这些方法通过不同的方法学习相似的中间表示，但在最后几层中表示迅速发散，旨在突出学习的中间表示的重要性，并提出了辅助任务设计的关键问题。

Oct, 2021

自监督视觉表示学习再探讨

该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习，并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

Jan, 2019

多视角匹配的高效表征学习

本研究提出了一种将自监督学习和多视角匹配技术相结合的方法，在没有额外标签的情况下，利用来自嵌入式相机的机器人吸尘器捕获的数据学习更高质量的表示，并证明了其在物体分类性能上的有效性。

Aug, 2022

启发式视觉预训练的自监督和有监督多任务学习

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

预测已知信息有助于自证自学

这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

Aug, 2020

研究自监督方法以实现标签高效学习

视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

Jun, 2024