通过多任务自监督预训练提高对于样本外泛化能力

Mar, 2020

通过多任务自监督预训练提高对于样本外泛化能力

Improving out-of-distribution generalization via multi-task self-supervised pretraining

Isabela Albuquerque, Nikhil Naik, Junnan Li, Nitish Keskar, Richard Socher

TL;DR本研究表明，在计算机视觉中，使用自监督学习获得的特征，在域泛化方面与或优于使用监督学习获得的特征，并引入了一个新的自监督预文本任务来预测对 Gabor 滤波器组的响应，使用多任务学习提高了域泛化性能。

Abstract

Self-supervised feature representations have been shown to be useful for supervised classification, few-shot learning, and adversarial robustness. We show that features obtained using self-supervised learning are comparable to, or better than, supervised learning for →

self-supervised learning domain generalization computer vision gabor filter banks multi-task learning

发现论文，激发创造

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

预测已知信息有助于自证自学

这篇论文提出了一种基于自监督学习的特征学习方法，通过预测无标签数据的辅助任务来学习有用的语义表示，并使用线性层来对学习的表示进行下游任务预测，从而显著降低了样本复杂度。

Aug, 2020

多视图自监督方法在音乐标记中的实验比较

在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

Apr, 2024

混合自监督学习

自我监督学习方法可以通过使用多个预处理任务和混合专家架构作为门控网络，来改进图像分类，使模型能够自动学习和更关注对分类最有用的增强方法。在几个场景下进行测试，并使用 Grad-CAM 和 T-SNE 分析来识别影响图像分类的重要特征并适当地区分不同的类别。

Jul, 2023

跨领域的自监督学习

本研究提出一种对物体在不同域中的识别问题采用监督学习和自监督学习方法相结合的多任务学习算法，通过学习对象形状，掌握空间定向和部件相关性等概念，证明该算法在域通用和适应性方面具有较高的竞争力。

Jul, 2020

启发式视觉预训练的自监督和有监督多任务学习

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

自监督视频表征学习基准测试

本文提出了用于视频领域的自监督学习基准，并对数据集大小、数据分布、数据噪声、自监督预训练架构相关的五个不同方面进行了观察分析，同时提出一种新方法，不需要过多的训练数据，即可超越现有自监督预训练的先进水平。

Jun, 2023

计算机视觉任务的自监督域自适应

本文提出了一种自我监督域自适应的通用方法，重点关注简单的预训练任务，如图像旋转预测，运用于对象识别和城市场景语义分割等场景，并提出了预测层对齐和批归一化校准等策略以进一步提高其准确性。实验结果表明自我监督在域自适应方面具有很大的潜力。

Jul, 2019

自监督学习：逐个样本学习泛化能力

本文探讨了如何在不增加过多数据注释的情况下，利用自监督学习来实现领域泛化和适应性，结果表明该方法在三种不同的情景下有效。

Oct, 2019

视频自监督学习综述

本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

Jun, 2022